hadoop如何设置单个任务占用的内存量和CPU数目?

参与8

2同行回答

youki2008youki2008系统架构师DDT
可通过以下参数设置:mapreduce.map.memory.mb :物理内存量,默认是 1024mapreduce.map.cpu.vcores : CPU 数目,默认是 1显示全部

可通过以下参数设置:
mapreduce.map.memory.mb :物理内存量,默认是 1024
mapreduce.map.cpu.vcores : CPU 数目,默认是 1

收起
互联网服务 · 2020-04-25
浏览989
呱呱爱吃瓜呱呱爱吃瓜数据仓库工程师银行
对于 MapReduce 而言,每个作业的任务资源量可通过以下参数设置:mapreduce.map.memory.mb :物理内存量,默认是 1024mapreduce.map.cpu.vcores : CPU 数目,默认是 1需要注意的是,默认情况,各个调度器只会对内存资源进行调度,不会考虑 CPU 资源,你需要在调度器配置文件中进行相关设置...显示全部

对于 MapReduce 而言,每个作业的任务资源量可通过以下参数设置:

mapreduce.map.memory.mb :物理内存量,默认是 1024

mapreduce.map.cpu.vcores : CPU 数目,默认是 1

需要注意的是,默认情况,各个调度器只会对内存资源进行调度,不会考虑 CPU 资源,你需要在调度器配置文件中进行相关设置。

收起
银行 · 2020-02-07
浏览1174

提问者

Tamic
数据库架构师某保险

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-02-06
  • 关注会员:3 人
  • 问题浏览:2264
  • 最近回答:2020-04-25
  • X社区推广