spark on yarn的集群架构如何利用好内存和SSD

在spark on yarn的集群架构中,主要任务有:批量数据处理、交互式查询、流式计算和基于nosql的实时查询。然而spark对内存要求较高,nosql数据库同样对内存需求较大。
在这样的架构中内存如何分配、如何利用好SSD充分发挥集群的性能是我们最关心的问题,还请大家提出宝贵建议。
参与8

3同行回答

北京荣歆咨询北京荣歆咨询系统架构师北京荣歆咨询有限公司
spark是一种内存计算技术,有大内存才能发挥出性能优势。SSD虽然比传统硬盘快了10-100倍,但与内存的访问速度还是差着N个数量级呢,所以性能提升需要程序有高效的预读机制来配合。显示全部
spark是一种内存计算技术,有大内存才能发挥出性能优势。SSD虽然比传统硬盘快了10-100倍,但与内存的访问速度还是差着N个数量级呢,所以性能提升需要程序有高效的预读机制来配合。收起
IT咨询服务 · 2015-06-15
浏览2545
杨博杨博课题专家组IT顾问某科技公司
内存不够用时,就可以考虑使用SSD,SSD作为性能需求,建议不作为存储需求。显示全部
内存不够用时,就可以考虑使用SSD,SSD作为性能需求,建议不作为存储需求。收起
互联网服务 · 2015-06-08
浏览2527
月光无寒月光无寒系统工程师新疆电信
SSD的话,我觉得跑mapreduce都不会太慢了吧? pcie的么?显示全部
SSD的话,我觉得跑mapreduce都不会太慢了吧? pcie的么?收起
电信运营商 · 2015-06-04
浏览2369

提问者

徐攀登
项目经理中国电信江西公司

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-06-04
  • 关注会员:1 人
  • 问题浏览:6056
  • 最近回答:2015-06-15
  • X社区推广