hadoop调度器有哪些,它们的工作方法都是怎样的?

2回答

呱呱爱吃瓜呱呱爱吃瓜  数据仓库工程师 , 银行
yinxin赞同了此回答
1.先进先出调度器( FIFO ) Hadoop中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业 2.容量调度器( Capacity Scheduler) 支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个用户的作业独...显示全部

1.先进先出调度器( FIFO )

Hadoop中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业

2.容量调度器( Capacity Scheduler)

支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制

3.公平调度器( Fair Scheduler )

公平调度是一种赋予作业( job )资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。所有的 job 具有相同的资源 , 当单独一个作业在运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将任务( task )空闲资源( container )赋给这些新的作业,以使得每一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同,这个特性让小作业在合理的时间内完成的同时又不 " 饿 " 到消耗较长时间的大作业。公平调度可以和作业优先权搭配使用 —— 优先权像权重一样用作为决定每个作业所能获取的整体计算时间的比例。同计算能力调度器类似,支持多队列多用户,每个队列中的资源量可以配置, 同一队列中的作业公平共享队列中所有资源。

收起
 2020-02-27
浏览160
priestpriest  系统架构师 , None
比较流行的调度器有以下3种:1、默认调度器FIFO :hadoop中默认的调度器,采用先进先出的原则2、计算能力调度器Capacity Scheduler :选择占用资源小,优先级高的先执行3、公平调度器Fair Scheduler :同一队列中的作业公平共享队列中所有资源...显示全部

比较流行的调度器有以下3种:
1、默认调度器FIFO :hadoop中默认的调度器,采用先进先出的原则

2、计算能力调度器Capacity Scheduler :选择占用资源小,优先级高的先执行

3、公平调度器Fair Scheduler :同一队列中的作业公平共享队列中所有资源

收起
 2020-03-01
浏览78

提问者

Tamic数据库架构师, 某保险

问题状态

  • 发布时间:2020-02-26
  • 关注会员:3 人
  • 问题浏览:1111
  • 最近回答:2020-03-01