建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存,服务器选择 2*8 核心,>128G内存,6-12*2T磁盘,双网卡千M。跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2...
显示全部建议使用Hadoop Hbase,Spark系统需要消耗大量磁盘和内存,服务器选择 2*8 核心,>128G内存,6-12*2T磁盘,双网卡千M。
跑MapReduce的服务器一般配置多个磁盘,6-12个,数据节点做raid0直接挂在不要做raid5。通过 hdfs-site.xml 配置 dfs.data.dir=/disk1/hadoop/hdfs/data,/disk2/hadoop/hdfs/data,/diskN/hadoop/hdfs/data 支持多个磁盘,通过配置 yarn.nodemanager.local-dirs=/disk1/hadoop/yarn/local,/disk2/hadoop/yarn/local,/diskN/hadoop/yarn/local为多个磁盘。
收起