Hadoop/spark等大数据处理平台对服务器的配置要求和最佳实践
Hadoop/storm/spark等大数据处理平台对服务器的配置要求和最佳实践，比如CPU/内存/磁盘/IO等.
希望专家能把要求给详细说说，还有就是如果有一些参考实践的内容
希望专家能把要求给详细说说，还有就是如果有一些参考实践的内容
4同行回答
回复 3# liucx
Hadoop平台网络尽量考虑万兆。 节点间的流量大，千兆会成为瓶颈。
你可以阅读一下Cloudera的这篇Blog。 Cloudera是Hadoop的一个企业发行版厂商，Cloudera和Hadoop的关系类似Redhat和Linux的关系。
How-to: Select the Right Hardware for Your New Hadoop Cluster
http://blog.cloudera.com/blog/20 ... new-hadoop-cluster/收起
Hadoop平台网络尽量考虑万兆。 节点间的流量大，千兆会成为瓶颈。
你可以阅读一下Cloudera的这篇Blog。 Cloudera是Hadoop的一个企业发行版厂商，Cloudera和Hadoop的关系类似Redhat和Linux的关系。
How-to: Select the Right Hardware for Your New Hadoop Cluster
http://blog.cloudera.com/blog/20 ... new-hadoop-cluster/收起
浏览5653
建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双 ...tongxiaojun 发表于 2015-6-4 15:07
为什么是双网卡千M？能提高网络io么，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双网卡千M，这样的配置服务器在什么价位？谢谢...建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双 ...
tongxiaojun 发表于 2015-6-4 15:07
为什么是双网卡千M？能提高网络io么，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双网卡千M，这样的配置服务器在什么价位？谢谢收起
浏览5529
建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双网卡千M。
跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2/hadoop/hdfs/data,/diskN/hadoop/hdfs/data 支持多个磁盘,通过配置 yarn.nodemanager.local-dirs=/disk1/hadoop/yarn/local,/disk2/hadoop/yarn/local,/diskN/hadoop/yarn/local为多个磁盘。收起
跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2/hadoop/hdfs/data,/diskN/hadoop/hdfs/data 支持多个磁盘,通过配置 yarn.nodemanager.local-dirs=/disk1/hadoop/yarn/local,/disk2/hadoop/yarn/local,/diskN/hadoop/yarn/local为多个磁盘。收起
浏览5593