您好!我想请问一下cdh下的优化

您好!我们的集群是cdh管理的!请问hive,hdfs,yarn的优化一般从那些参数调整?如何调?麻烦给我们一个建议!谢谢!我们集群规模为40台2路6核,96内存,30t硬盘,rhel6.4

 
参与8

3同行回答

humidyhumidy信息分析/架构师某公司
1.集群的规划,主控节点,数据节点,网关接入节点2.Hive的接入,CLI、IDE 是否启用HiveServer2,可以使用HUE方便使用3.Hive的安全和细粒度的控制Sentry4.Hive 的文件格式RCfile,Parquet File5.Hadoop的调度,HIve任务调度,可以使用Oozie6.Hive中语句的解析,表连接原理,考虑map join避免...显示全部
1.集群的规划,主控节点,数据节点,网关接入节点

2.Hive的接入,CLI、IDE 是否启用HiveServer2,可以使用HUE方便使用

3.Hive的安全和细粒度的控制Sentry

4.Hive 的文件格式RCfile,Parquet File

5.Hadoop的调度,HIve任务调度,可以使用Oozie

6.Hive中语句的解析,表连接原理,考虑map join避免数据的倾斜收起
电信运营商 · 2015-08-21
浏览1369
尘世随缘尘世随缘技术总监上海某互联网金融公司
所有的优化总的大纲无非就是增加集群可用资源数量、增加Task的内存大小、增加RPC handler的数量,这只是大的方面,具体如何优化你看根据你的业务情况来优化。比如,只是MR计算或者HIVE计算,那么优化的重点是考核如何增加集群可用资源数。如果是为了查询,就是需要增加HBase的regi...显示全部
所有的优化总的大纲无非就是增加集群可用资源数量、增加Task的内存大小、增加RPC handler的数量,这只是大的方面,具体如何优化你看根据你的业务情况来优化。比如,只是MR计算或者HIVE计算,那么优化的重点是考核如何增加集群可用资源数。如果是为了查询,就是需要增加HBase的regionServer数量。收起
互联网服务 · 2015-08-21
浏览1432
heraleignheraleign网站架构师iwhalecloud
十在不好意思,周五下午的课有点紧张,周末又在飞机上,现在才有空回复,感谢两位的解答,这些宏观方面我们都做了一些优化,我是想知道一些具体的参数设置建议,比如blockSize=256M,这种类型的。因为官方文档上的参数列表内容太多,我如果去研究需要花大量的时间,所以希望各位大牛能够对C...显示全部
十在不好意思,周五下午的课有点紧张,周末又在飞机上,现在才有空回复,感谢两位的解答,这些宏观方面我们都做了一些优化,我是想知道一些具体的参数设置建议,比如blockSize=256M,这种类型的。
因为官方文档上的参数列表内容太多,我如果去研究需要花大量的时间,所以希望各位大牛能够对CDH搭建好后经常需要调整的参数共享一下!谢谢!收起
系统集成 · 2015-08-24
浏览1281

提问者

heraleign
网站架构师iwhalecloud
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-08-21
  • 关注会员:2 人
  • 问题浏览:6225
  • 最近回答:2015-08-24
  • X社区推广