这是一个非常大的命题，我这里也就简单描述一下自己的经验： 1 首先需要明确优化的目标，到底优化要达到一个什么样的目标，满足什么样的需求。如：是要支撑更多 node （如： 500 or 5000 ），或者是优化 pod 的调度速度，增加资源利用率，扩展弹性伸缩等等。 2 首先要对整个集群的各个业务系...

hadoop2.0默认是128M，这个值是经过多次摸索后得到的结果，一般不需要调整。512M的块调整为128M的块对HBase原有数据不会有影响，建议调整后重新执行一次大合并，HBase会根据调整后的块大小重新划分新块。...

spark跟hadooop都是mr，只不过spark所有数据尽量走内存速度会比hadoop快一些，hadoop适用于比较大的数据量

5.服务器的选型根据hadoop获取优先获取同一机柜的数据特点6.可以考虑把一台物理机虚拟成多个服务端7.不可能一台机子就装个hadoop还得考虑如果装其他软件所带来的硬件资源的损失比如内存iocpu等...

考虑下你的操作系统的问题，hadoop不会对磁盘做权限限制。

我们一般会在集群部署前进行规划节点角色，配置，用途安装统一采用本地源安装模式，安装完之后会做基本的性能测试对于SQL ON Hadoop的集群我们会选用big bench做TCP-DS的性能测试再根据性能测试的结果来修改一些参数和针对性的调大YARN中一些Container的大小...

1.集群的规划，主控节点，数据节点，网关接入节点2.Hive的接入，CLI、IDE 是否启用HiveServer2,可以使用HUE方便使用3.Hive的安全和细粒度的控制Sentry4.Hive 的文件格式RCfile，Parquet File5.Hadoop的调度，HIve任务调度，可以使用Oozie6.Hive中语句的解析，表连接原理，考虑map join避免...

数据量如果少就直接改调本地模式，因为hadoop启动还是要花点时间滴，这里包括资源轮询，任务分配等等