互联网服务Hadoop 集群优化 block优化

块大小优化

机器信息我就不描述了，问题：预期：数据量会很大，文件也会比较大实施：为了保证nameNode内存使用更节省，使用联邦，2个namespace，同时将block块的大小调整到512M问题：nameNode的元数据信息占用内存情况比较理想，hbase也基于这个集群，大block对hbase影响应该会很大如果我关闭集群，调整块...显示全部

参与5

查看其它 1 个回答尘世随缘的回答

尘世随缘技术总监上海某互联网金融公司

hadoop2.0默认是128M，这个值是经过多次摸索后得到的结果，一般不需要调整。512M的块调整为128M的块对HBase原有数据不会有影响，建议调整后重新执行一次大合并，HBase会根据调整后的块大小重新划分新块。

互联网服务 · 2015-08-21

浏览1055

查看赞同的人

回答者

尘世随缘0210

技术总监上海某互联网金融公司

擅长领域：云计算，云原生，微服务

评论254

尘世随缘最近回答过的问题

微服务安全性如何保证？

微服务管理？

微服务查询？

微服务怎么拆分，有没有拆分标准，服务拆分粒度是什么？

单体应用向微服务架构的转型问题？

回答状态

发布时间：2015-08-21

关注会员：1 人

回答浏览：1055

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广