Hadoop环境下如何做好负载均衡？

在搭建环境之前要做好调研：1.大概的访问用户是多少  2.大概会存放哪些文件 3.文件存放规划目录要考虑哪些文件会成为访问热点等，另外你提到集群的机器性能不同，你要考虑hadoop本身特性namenode主要是做元数据管理跟用户跟datanode打交道经常用到查询如果信息尽量保存到内存中速度就会有所提高所以选一个内存高一点的机器， datanode主要是io即数据的读写与传输其次是cpu因为hdfs文件如果进行压缩或者解压性能如何主要靠CPU了

这里面透露出两种，一是不同配置的主机服务器，而是不同配置的主机怎么提供计算调度，第一种来说不同配置的主机在一个庞大的集群里一定会很常见，对于每种主机都是要合理的使用存储于计算资源，第二点计算上，Hadoop主要依赖于yarn的资源管理，可以配置每个主机提供的CPU来配置，