Hadoop因其良好的可扩展性,具备弹性扩展空间,在搭建之初并不能做成一个完整的集群,随着后续机器的添加,不同性能主机之间的负载均衡应该如何分配?
在搭建环境之前要做好调研:1.大概的访问用户是多少 2.大概会存放哪些文件 3.文件存放规划目录要考虑哪些文件会成为访问热点等,另外你提到集群的机器性能不同,你要考虑hadoop本身特性namenode主要是做元数据管理跟用户跟datanode打交道经常用到查询如果信息尽量保存到内存中速度就会有所提高所以选一个内存高一点的机器, datanode主要是io即数据的读写与传输其次是cpu因为hdfs文件如果进行压缩或者解压性能如何主要靠CPU了
这里面透露出两种,一是不同配置的主机服务器,而是不同配置的主机怎么提供计算调度,第一种来说不同配置的主机在一个庞大的集群里一定会很常见,对于每种主机都是要合理的使用存储于计算资源,第二点计算上,Hadoop主要依赖于yarn的资源管理,可以配置每个主机提供的CPU来配置,
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30