1、当前集群的规模 目前集群有5台集群,分别装是hadoop master(1台),hadoop slave(4台)、hbase(装在3台)、zookeeper(装在3台机器上)
2、机器的配置 内存8G,4核2CPU
3、机器部署情况 分别装有hadoop、hbase、zookeeper(装在3台机器上)
4、用集群来处理什么问题,处理结果输出到什么地方 通过MR来统计HBase表中相关数据
5、存在问题(描述集群在处理任务的情况) 每天的数据量大概有10G左右,刚开始阶段每天晚上统计的时候速度非常快,运行一段时间后,有大量的Task处于等待状态,如果提交了新的Job的时候Job也处于等待状态,任务并不执行。查看目前大概有800个region。请问如何优化?
收起