能不能详细解释下hadoop中内存的配置啊

经常内存超出,我们一般pig用的比较多。8G内存,常规分配在2.6版本下有好建议没?显示全部
经常内存超出,我们一般pig用的比较多。8G内存,常规分配在2.6版本下有好建议没?收起
参与8

查看其它 2 个回答尘世随缘的回答

尘世随缘尘世随缘技术总监上海某互联网金融公司
考虑一下几点:
1、yarn-stie.xmlyarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认是8192(MB),根据你的机器情况来配置。 配置值<=实际物理内存
yarn.nodemanager.resource.cpu-vcores
表示该节点上YARN可使用的虚拟CPU个数,默认是8


2、内存设置篇
yarn.scheduler.minimum-allocation-mb
单个任务可申请的最少物理内存量,默认是1024(MB)
yarn.scheduler.maximum-allocation-mb
单个任务可申请的最多物理内存量,默认是8192(MB)
此参数是运维人员设置一个阀值,具体使用多少内存,由程序自己来决定


3、如何设置Client的参数,以MapReduce为例
配置:mapred-site.xml
mapreduce.map.memory.mb
每个Map需要的内存,默认1024M
注意这个参数的值在yarn设置的之间,如要要求:
yarn.scheduler.minimum-allocation-mb<=mapreduce.map.memory.mb<=yarn.scheduler.maximum-allocation-mb
mapreduce.map.cpu.vcores
每个Map Task需要虚拟CPU个数,默认1个
mapreduce.reduce.memory.mb
每个Reduce需要的内存,默认1024M
mapreduce.reduce.cpu.vcores
每个Reuce需要的CPU个数,默认1个

4、CPU设置
yarn.scheduler.minimum-allocation-vcores
单个任务可申请的最小虚拟CPU个数,默认是1
yarn.scheduler.maximum-allocation-vcores
单个任务可申请的最多虚拟CPU个数,默认是32
互联网服务 · 2015-05-15
浏览1269

回答者

尘世随缘
技术总监上海某互联网金融公司
擅长领域: 云计算云原生微服务

尘世随缘 最近回答过的问题

回答状态

  • 发布时间:2015-05-15
  • 关注会员:1 人
  • 回答浏览:1269
  • X社区推广