对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?

电信行业大数据事件处理上无论采用storm还是spark技术,对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?主机之间的网络资源(带宽,吞吐),存储资源的要求是否有基本要求?

参与11

3同行回答

月光无寒月光无寒系统工程师新疆电信
spark 5节点,每个节点8G内存,处理100G左右的数据,跑sparkmllib,每次都内存溢出。建议还是提升内存,起步128G。磁盘能放几个ssd.网卡现在主机标配1000M 3-6个,可以考虑捆绑,不捆绑也无所谓,但是万兆个人感觉没意义,如果确实需要,直接上infiniband了。...显示全部

spark 5节点,每个节点8G内存,处理100G左右的数据,跑sparkmllib,每次都内存溢出。建议还是提升内存,起步128G。磁盘能放几个ssd.网卡现在主机标配1000M 3-6个,可以考虑捆绑,不捆绑也无所谓,但是万兆个人感觉没意义,如果确实需要,直接上infiniband了。

收起
电信运营商 · 2015-11-06
浏览2140
loveryueloveryue软件开发工程师IBM
考虑几点吧1, CPU要强,最好主频高,支持并发多线程。2. 内存要大,特别是Spark,基本数据都在内存中,内存大小直接对性能有影响。3. 内部通道要宽,CPU到内存,CPU到IO的数据通道。4. 网络要好,在分布式环境下,节点间的通信以及数据同步的开销很大,网络带宽很容易成为瓶颈。...显示全部

考虑几点吧

1, CPU要强,最好主频高,支持并发多线程。

2. 内存要大,特别是Spark,基本数据都在内存中,内存大小直接对性能有影响。

3. 内部通道要宽,CPU到内存,CPU到IO的数据通道。

4. 网络要好,在分布式环境下,节点间的通信以及数据同步的开销很大,网络带宽很容易成为瓶颈。

收起
互联网服务 · 2015-11-06
浏览2448
xuyanhuixuyanhui信息分析/架构师58同城大数据
目前来说,传统的互联网公司,硬件配置,主要是4*12的SATA盘,196G内存,32Core的服务器,结合各种应用场景不同,硬件配置也会不一样,既要考虑服务器的性价比,又要兼容各种业务需求,最后就是网卡,双网卡很必要...显示全部

目前来说,传统的互联网公司,硬件配置,主要是4*12的SATA盘,196G内存,32Core的服务器,结合各种应用场景不同,硬件配置也会不一样,既要考虑服务器的性价比,又要兼容各种业务需求,最后就是网卡,双网卡很必要

收起
互联网服务 · 2015-11-06
浏览2159

提问者

zhangfengyu
信息分析/架构师中国电信
擅长领域: 大数据虚拟化云计算

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-11-06
  • 关注会员:4 人
  • 问题浏览:6545
  • 最近回答:2015-11-06
  • X社区推广