大数据技术的事件处理上应该如何选择Linux服务器?

大数据技术的事件处理,在系统资源使用上,需要很强的计算能力,如何选择Linux服务器?显示全部

大数据技术的事件处理,在系统资源使用上,需要很强的计算能力,如何选择Linux服务器?

收起
参与20

查看其它 7 个回答loveryue的回答

loveryueloveryue软件开发工程师IBM

正如您所说,确实要根据场景来判断。

目前整体来看,大数据无论采用MR或者Spark,都牵扯到了,大量的迭代计算和suffling,对CPU有很高的要求。所以,从硬件选型来看,首先,CPU的计算能力最为重要,这也是为什么Power8 的Linux的服务器在MR或者SPARK上有很好的表现。

其次,对于批处理方面的计算,可以把CPU的多线程的特征关闭,以减少CPU调度上的开销。

还有,就是考虑CPU到cahce,CPU到内存,CPU到IO的内部带宽通道,这好比高速公路,路越宽,通行能力越强。

最后,IO还是要考虑的,MR的suffing落盘,Spark的可落可不落,所以多个磁盘驱动器也很重要。

所以,Power8的linux服务器是大数据的领先服务器。

互联网服务 · 2015-11-06
浏览3021

回答者

loveryue
软件开发工程师IBM
擅长领域: 服务器数据库大数据

loveryue 最近回答过的问题

回答状态

  • 发布时间:2015-11-06
  • 关注会员:7 人
  • 回答浏览:3021
  • X社区推广