spark on yarn的集群架构如何利用好内存和SSD

在spark on yarn的集群架构中,主要任务有:批量数据处理、交互式查询、流式计算和基于nosql的实时查询。然而spark对内存要求较高,nosql数据库同样对内存需求较大。在这样的架构中内存如何分配、如何利用好SSD充分发挥集群的性能是我们最关心的问题,还请大家提出宝贵建议。...显示全部
在spark on yarn的集群架构中,主要任务有:批量数据处理、交互式查询、流式计算和基于nosql的实时查询。然而spark对内存要求较高,nosql数据库同样对内存需求较大。
在这样的架构中内存如何分配、如何利用好SSD充分发挥集群的性能是我们最关心的问题,还请大家提出宝贵建议。收起
参与8

查看其它 2 个回答月光无寒的回答

月光无寒月光无寒系统工程师新疆电信
SSD的话,我觉得跑mapreduce都不会太慢了吧? pcie的么?
电信运营商 · 2015-06-04
浏览2390

回答者

月光无寒
系统工程师新疆电信
擅长领域: 大数据服务器大数据处理

月光无寒 最近回答过的问题

回答状态

  • 发布时间:2015-06-04
  • 关注会员:1 人
  • 回答浏览:2390
  • X社区推广