大数据系列文章之Yarn组件及其执行流程

Yarn组件及其执行流程

四大组件

ResourceManager
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源分配与调度
ApplicationMaster
程序切分
为应用程序申请资源，并分配任务
任务监控与容错
NodeManager
单个节点的资源管理
处理来自ResourceManager的命令
处理来自ApplicationManager的命令
Container
对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息

执行流程

Client连接RM提交作业，RM给Client一个Job_id
RM中的AM连接NM，让NM创建一个MR_AM处理客户端Job请求
MR_AM连接RM中的AM申请NM
MR_AM连接RM中的ResourceScheduler申请资源（CPU、内存等）用于运行Job
MR_AM连接NM，发送Client job和申请到的资源
NM启动Container进程运行Job中不同的task
Container进程运行状态实时反馈给MR_AM
MR_AM反馈任务状态信息给RM中的AM