请问以下情况下,集群如何优化?

1、当前集群的规模   目前集群有5台集群,分别装是hadoop master(1台),hadoop slave(4台)、hbase(装在3台)、zookeeper(装在3台机器上)2、机器的配置   内存8G,4核2CPU3、机器部署情况   分别装有hadoop、hbase、zookeeper(装在3台机器上)4、用集群来处...显示全部
1、当前集群的规模   目前集群有5台集群,分别装是hadoop master(1台),hadoop slave(4台)、hbase(装在3台)、zookeeper(装在3台机器上)
2、机器的配置   内存8G,4核2CPU

3、机器部署情况   分别装有hadoop、hbase、zookeeper(装在3台机器上)

4、用集群来处理什么问题,处理结果输出到什么地方  通过MR来统计HBase表中相关数据

5、存在问题(描述集群在处理任务的情况)   每天的数据量大概有10G左右,刚开始阶段每天晚上统计的时候速度非常快,运行一段时间后,有大量的Task处于等待状态,如果提交了新的Job的时候Job也处于等待状态,任务并不执行。查看目前大概有800个region。请问如何优化?
收起
参与6

查看其它 1 个回答美国队长的回答

美国队长美国队长研发工程师Alibaba
1.先排除变慢跟hbase的compact跟split是否有关,因为你的业务数据量是可控的,可以适当调整一下hbase分裂跟合并的阀值
2.你查看一下拥堵的时候,各个服务器的资源使用情况,看看哪些进程占用的最多是否就是你当前任务的进程
  当然你也可以看一下,你是4核的究竟有几个参与了计算有具体的命令如top或者mpstat -P ALL....
互联网服务 · 2015-08-26
浏览1240

回答者

美国队长
研发工程师Alibaba
擅长领域: 大数据大数据平台数据库

美国队长 最近回答过的问题

回答状态

  • 发布时间:2015-08-26
  • 关注会员:3 人
  • 回答浏览:1240
  • X社区推广