Hadoop/spark等大数据处理平台对服务器的配置要求和最佳实践
Hadoop/storm/spark等大数据处理平台对服务器的配置要求和最佳实践，比如CPU/内存/磁盘/IO等.
希望专家能把要求给详细说说，还有就是如果有一些参考实践的内容收起
希望专家能把要求给详细说说，还有就是如果有一些参考实践的内容收起
查看其它 3 个回答tongxiaojun的回答
建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存，服务器选择 2*8 核心,>128G内存,6-12*2T磁盘，双网卡千M。
跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2/hadoop/hdfs/data,/diskN/hadoop/hdfs/data 支持多个磁盘,通过配置 yarn.nodemanager.local-dirs=/disk1/hadoop/yarn/local,/disk2/hadoop/yarn/local,/diskN/hadoop/yarn/local为多个磁盘。
跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2/hadoop/hdfs/data,/diskN/hadoop/hdfs/data 支持多个磁盘,通过配置 yarn.nodemanager.local-dirs=/disk1/hadoop/yarn/local,/disk2/hadoop/yarn/local,/diskN/hadoop/yarn/local为多个磁盘。
浏览5602