电信行业大数据事件处理上无论采用storm还是spark技术,对计算资源(虚拟机或者物理主机,X86)的配置要求是否有计算模型?主机之间的网络资源(带宽,吞吐),存储资源的要求是否有基本要求?
spark 5节点,每个节点8G内存,处理100G左右的数据,跑sparkmllib,每次都内存溢出。建议还是提升内存,起步128G。磁盘能放几个ssd.网卡现在主机标配1000M 3-6个,可以考虑捆绑,不捆绑也无所谓,但是万兆个人感觉没意义,如果确实需要,直接上infiniband了。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30