IT其它hbase实战

如何诊断Hadoop和Hbase性能问题存在?

目前我们业务量扩展的很大,历史数据和业务时时数据(通过rowkey查询的业务,没有通过二级索引查询的)迁移到hbase中,数据量有12TB左右;数据量还在不断增加。

1.怎么样诊断hbase和hadoop性能问题,如何分析,使用那些命令

2.平时维护hbase和hadoop注意事项基本有哪些。

参与5

2同行回答

wuwenpinwuwenpin软件开发工程师南京
主要看查询和写入有无积压,另外官方建议每节点region数不要超过300个显示全部

主要看查询和写入有无积压,另外官方建议每节点region数不要超过300个

收起
互联网服务 · 2022-11-21
浏览486
rainforcrainforc研发工程师欢聚时代 alibaba
hadoop的性能主要从hdfs和yarn两个方面去看:hdfs主要看namenode请求的rpc,这个指标在namenode的jmx接口里面可以获取到。这个要根据每台机器的配置然后评估出它的性能压力,最直观的是hdfs文件访问的速度;其它像集群的IO、带宽、存储等是有意义的指标,还有个balancer进程可以...显示全部

hadoop的性能主要从hdfs和yarn两个方面去看:

hdfs主要看namenode请求的rpc,这个指标在namenode的jmx接口里面可以获取到。这个要根据每台机器的配置然后评估出它的性能压力,最直观的是hdfs文件访问的速度;其它像集群的IO、带宽、存储等是有意义的指标,还有个balancer进程可以是hdfs上的数据均匀分布到各个节点,所以可以看看各datanode的容量差距是否符合预期。

yarn同样也有一个jmx接口可以获取到rpc指标,另外还有一个指标CallQueueLength可以反应yarn中处理job的性能,此值一旦长期大于0就表示有性能压力。具体处理job的时候可以看整个集群的内存、磁盘、带宽是否够用,分配的container数是否达到阈值等等。

hbase还不太了解,很抱歉不能给出回答。

收起
互联网服务 · 2016-08-11
浏览1865

提问者

相关资料

问题状态

  • 发布时间:2016-08-10
  • 关注会员:3 人
  • 问题浏览:2606
  • 最近回答:2022-11-21
  • X社区推广