注册登录
提 问
English中文版
互联网服务Hadoop集群优化block优化

块大小优化

机器信息我就不描述了， 问题：预期：数据量会很大，文件也会比较大实施：为了保证nameNode内存使用更节省，使用联邦，2个namespace，同时将block块的大小调整到512M问题：nameNode的元数据信息占用内存情况比较理想，hbase也基于这个集群，大block对hbase影响应该会很大如果我关闭集群，调整块大小，重新启动后对原有的数据有影响吗？块调整到多少才算合适（注：文件一般都在100-150M之间）
关注1
评论
参与5

2同行回答
|
按赞同排序
按时间排序

美国队长美国队长研发工程师Alibaba
让hbase不要自动进行分开跟调整，根据自身的数据量决定何时可以统一进行一次合并跟分裂，因为频繁合并或者分裂会影响造成系统假死，连接超时等一系列问题显示全部
让hbase不要自动进行分开跟调整，根据自身的数据量决定何时可以统一进行一次合并跟分裂，因为频繁合并或者分裂会影响造成系统假死，连接超时等一系列问题收起
互联网服务 · 2015-08-24
浏览978
查看赞同的人
评论
尘世随缘尘世随缘技术总监上海某互联网金融公司
hadoop2.0默认是128M，这个值是经过多次摸索后得到的结果，一般不需要调整。512M的块调整为128M的块对HBase原有数据不会有影响，建议调整后重新执行一次大合并，HBase会根据调整后的块大小重新划分新块。...显示全部
hadoop2.0默认是128M，这个值是经过多次摸索后得到的结果，一般不需要调整。512M的块调整为128M的块对HBase原有数据不会有影响，建议调整后重新执行一次大合并，HBase会根据调整后的块大小重新划分新块。收起
互联网服务 · 2015-08-21
浏览1059
查看赞同的人
评论

提问者

haorengoodman
haorengoodman
研发工程师ooxx
擅长领域： 大数据，分布式系统，大数据平台
关注
回答7
评论9

问题来自

  • 活动 - Hadoop深入了解之集群优化篇 在线技术交流

    • 相关问题

  • 系统迁移，国产化转信创如何实施？
  • 医疗大数据平台不同的建设路线底层基础架构设计时有什么要求？
  • 怎样用Hadoop进行高效的处理小文件?以及怎样让各个节点尽可能的负载均衡?
  • Hadoop生态圈子项目有哪些？
  • 银行影像内容管理平台选型，是传统的Oracle/DB2架构，还是分布式文档数据库，还是基于Hadoop的大数据平台？

    • 相关资料

  • 基于ZooKeeper搭建Hadoop高可用集群
  • 《深度剖析Hadoop HDFS》-第一部分
  • 阿里Hadoop集群架构及服务体系
  • Hadoop-100道面试题及答案解析
  • 《深度剖析Hadoop HDFS》-第二部分

    • 相关文章

  • 中小银行大数据平台建设实践分享
  • Hadoop集群3台服务器系统异常重分析
  • Hadoop MapReduce作业长时间卡死问题解决方法

    • 问题状态

  • 发布时间：2015-08-21
  • 关注会员：1 人
  • 问题浏览：4296
  • 最近回答：2015-08-24

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广