查看其它 1 个回答呱呱爱吃瓜的回答

呱呱爱吃瓜呱呱爱吃瓜数据仓库工程师银行

1.先进先出调度器( FIFO )

Hadoop中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业

2.容量调度器( Capacity Scheduler)

支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制

3.公平调度器( Fair Scheduler )

公平调度是一种赋予作业( job )资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。所有的 job 具有相同的资源 , 当单独一个作业在运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将任务( task )空闲资源( container )赋给这些新的作业,以使得每一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同,这个特性让小作业在合理的时间内完成的同时又不 " 饿 " 到消耗较长时间的大作业。公平调度可以和作业优先权搭配使用 —— 优先权像权重一样用作为决定每个作业所能获取的整体计算时间的比例。同计算能力调度器类似,支持多队列多用户,每个队列中的资源量可以配置, 同一队列中的作业公平共享队列中所有资源。

银行 · 2020-02-27
浏览2118

回答者

呱呱爱吃瓜
数据仓库工程师银行
擅长领域: 大数据服务器数据库

呱呱爱吃瓜 最近回答过的问题

回答状态

  • 发布时间:2020-02-27
  • 关注会员:3 人
  • 回答浏览:2118
  • X社区推广