IT其它hbase实战

如何诊断Hadoop和Hbase性能问题存在?

目前我们业务量扩展的很大,历史数据和业务时时数据(通过rowkey查询的业务,没有通过二级索引查询的)迁移到hbase中,数据量有12TB左右;数据量还在不断增加。1.怎么样诊断hbase和hadoop性能问题,如何分析,使用那些命令2.平时维护hbase和hadoop注意事项基本有哪些。...显示全部

目前我们业务量扩展的很大,历史数据和业务时时数据(通过rowkey查询的业务,没有通过二级索引查询的)迁移到hbase中,数据量有12TB左右;数据量还在不断增加。

1.怎么样诊断hbase和hadoop性能问题,如何分析,使用那些命令

2.平时维护hbase和hadoop注意事项基本有哪些。

收起
参与5

查看其它 1 个回答rainforc的回答

rainforcrainforc研发工程师欢聚时代 alibaba

hadoop的性能主要从hdfs和yarn两个方面去看:

hdfs主要看namenode请求的rpc,这个指标在namenode的jmx接口里面可以获取到。这个要根据每台机器的配置然后评估出它的性能压力,最直观的是hdfs文件访问的速度;其它像集群的IO、带宽、存储等是有意义的指标,还有个balancer进程可以是hdfs上的数据均匀分布到各个节点,所以可以看看各datanode的容量差距是否符合预期。

yarn同样也有一个jmx接口可以获取到rpc指标,另外还有一个指标CallQueueLength可以反应yarn中处理job的性能,此值一旦长期大于0就表示有性能压力。具体处理job的时候可以看整个集群的内存、磁盘、带宽是否够用,分配的container数是否达到阈值等等。

hbase还不太了解,很抱歉不能给出回答。

互联网服务 · 2016-08-11
浏览1887

回答者

rainforc
研发工程师欢聚时代 alibaba

rainforc 最近回答过的问题

回答状态

  • 发布时间:2016-08-11
  • 关注会员:3 人
  • 回答浏览:1887
  • X社区推广