hadoop集群与服务器选型

Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐.但是在使用HADOOP时,也发现一些问题。比如硬盘故障的现象比较频繁,为了数据的安全和稳定, 服务器最好是具有热插拔硬盘能力的...显示全部
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐.但是在使用HADOOP时,也发现一些问题。比如硬盘故障的现象比较频繁,为了数据的安全和稳定, 服务器最好是具有热插拔硬盘能力的。此外作为Hadoop DataNode节点的服务器,其主要功能就是存储、计算。其对硬盘的读写压力较大,较容易造成磁盘故障。因此非常有必要将系统磁盘,单独用一块磁盘来安装。当系统与HDFS数据存储分区共用时,故障磁盘的更换会影响到操作系统的稳定运行。最后选择合适的硬盘大小是比较重要的,一般DataNode需要较高的IO能力,而IO能力又与磁盘的个数有关,但是越大的磁盘其磁盘故障率要高一些,这个在采购磁盘的时候,我们通常选择可插盘数比较多的服务器。根据以上的问题和思考,我们需要运行HADOOP的服务器,它能支持的硬盘多并且可以热插拔,并且考虑到数据密集型的应用,我们需要选择多核并行能力强的CPU。那么对于HADOOP的不同版本,该如何更好的进行服务器选型呢?收起
参与3

查看其它 1 个回答fengsh的回答

fengshfengsh系统工程师电信行业
powerlinux上装hadoop和x86上有啥差别没?
系统集成 · 2015-05-28
浏览2110

回答者

fengsh
系统工程师电信行业
擅长领域: 云计算容器数据库

fengsh 最近回答过的问题

回答状态

  • 发布时间:2015-05-28
  • 关注会员:1 人
  • 回答浏览:2110
  • X社区推广