大数据技术的事件处理,在系统资源使用上,需要很强的计算能力,如何选择Linux服务器?
正如您所说,确实要根据场景来判断。
目前整体来看,大数据无论采用MR或者Spark,都牵扯到了,大量的迭代计算和suffling,对CPU有很高的要求。所以,从硬件选型来看,首先,CPU的计算能力最为重要,这也是为什么Power8 的Linux的服务器在MR或者SPARK上有很好的表现。
其次,对于批处理方面的计算,可以把CPU的多线程的特征关闭,以减少CPU调度上的开销。
还有,就是考虑CPU到cahce,CPU到内存,CPU到IO的内部带宽通道,这好比高速公路,路越宽,通行能力越强。
最后,IO还是要考虑的,MR的suffing落盘,Spark的可落可不落,所以多个磁盘驱动器也很重要。
所以,Power8的linux服务器是大数据的领先服务器。