HADOOP比JOB更消耗资源，怎样的建构使物理资源得到充分的发挥?

你这个是明显的小问题导致的大作业，hadoop默认是使用一个块（128M）为一个作业。你可以这样计算1G大文件hadoop会拆分为8个JOB，如果你是1G的小文件每个文件100K的话，你可以计算下需要多个Job，这么多的Job从申请资源到执行都需很长的过程，所以这个就比较慢了。

解决这种小文件的方式比较多

1、通过Linux的SHELL脚本把小文件合并为大文件

2、使用sequenceFile格式，来合并小文件

3、使用CombineFileInputFormat来处理小文件，多个文件当做一个Job来处理。