对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?

电信行业大数据事件处理上无论采用storm还是spark技术,对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?主机之间的网络资源(带宽,吞吐),存储资源的要求是否有基本要求?...显示全部

电信行业大数据事件处理上无论采用storm还是spark技术,对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?主机之间的网络资源(带宽,吞吐),存储资源的要求是否有基本要求?

收起
参与11

查看其它 2 个回答月光无寒的回答

月光无寒月光无寒系统工程师新疆电信

spark 5节点,每个节点8G内存,处理100G左右的数据,跑sparkmllib,每次都内存溢出。建议还是提升内存,起步128G。磁盘能放几个ssd.网卡现在主机标配1000M 3-6个,可以考虑捆绑,不捆绑也无所谓,但是万兆个人感觉没意义,如果确实需要,直接上infiniband了。

电信运营商 · 2015-11-06
浏览2152

回答者

月光无寒
系统工程师新疆电信
擅长领域: 大数据服务器大数据处理

月光无寒 最近回答过的问题

回答状态

  • 发布时间:2015-11-06
  • 关注会员:4 人
  • 回答浏览:2152
  • X社区推广