在 yarn-site.xml 中设置 yarn.scheduler.fair.allow-undeclared-pools ，将它的值配置为 false （默认是 true ）。

你这里描述的使用场景是k8s？还是Openstack或其他平台？

可通过以下参数设置：mapreduce.map.memory.mb ：物理内存量，默认是 1024mapreduce.map.cpu.vcores ： CPU 数目，默认是 1

一个节点上运行的任务数目主要由两个因素决定，一个是 NodeManager 可使用的资源总量，一个是单个任务的资源需求量，比如一个 NodeManager 上可用资源为 8 GB 内存， 8 cpu ，单个任务资源需求量为 1 GB 内存， 1cpu ，则该节点最多运行 8 个任务。NodeManager 上可用资源是由管理员在...

在线上的hadoop集群运维过程中，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布，以避免出现部分datanode磁盘占用率高的问题（这问题也很有可能导致该节点CPU使用率较其他服务器高）。可能的原因：突然磁盘使用率变高而文件块数并没有很大的增加，极有可能...

收集spid，根据spid找对应的pid

应该是spark on yarn多些，基于yarn的任务管理方便，且有助于资源的统一管理。2、spark sql比hive sql要新一点，两者都可以使用，像我们更多的是直接使用spark core，还是看场景吧。

spark是一种内存计算技术，有大内存才能发挥出性能优势。SSD虽然比传统硬盘快了10-100倍，但与内存的访问速度还是差着N个数量级呢，所以性能提升需要程序有高效的预读机制来配合。

1.CDH5.3 版hadoop如何优化？比如 yarn的参数配置？2.通过hue 如何配置sqoop job？

NameNode,ResourceManager 可以放在一台主机上。DataNode，是存储节点，每个dataNode上会启动一个NodeManagerMap Reduce Job 这个是作业，随机在各dataNode上运行。Map Reduce Job History：这个是每个NodeManager自己记录的。...