hadoop集群与服务器选型

Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐.但是在使用HADOOP时，也发现一些问题。比如硬盘故障的现象比较频繁，为了数据的安全和稳定， 服务器最好是具有热插拔硬盘能力的。此外作为Hadoop DataNode节点的服务器，其主要功能就是存储、计算。其对硬盘的读写压力较大，较容易造成磁盘故障。因此非常有必要将系统磁盘，单独用一块磁盘来安装。当系统与HDFS数据存储分区共用时，故障磁盘的更换会影响到操作系统的稳定运行。最后选择合适的硬盘大小是比较重要的，一般DataNode需要较高的IO能力，而IO能力又与磁盘的个数有关，但是越大的磁盘其磁盘故障率要高一些，这个在采购磁盘的时候，我们通常选择可插盘数比较多的服务器。根据以上的问题和思考，我们需要运行HADOOP的服务器，它能支持的硬盘多并且可以热插拔，并且考虑到数据密集型的应用，我们需要选择多核并行能力强的CPU。那么对于HADOOP的不同版本，该如何更好的进行服务器选型呢？