Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式 的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。
YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。
Yarn架构
如上图：
RM，整体集群
NM，单节点
AM，应用
Container，承载单位
工作机制
（1）MR 程序提交到客户端所在的节点。
（2）YarnRunner 向 ResourceManager 申请一个 Application。
（3）RM 将该应用程序的资源路径返回给 YarnRunner。
（4）该程序将运行所需资源提交到 HDFS 上。
（5）程序资源提交完毕后，申请运行 mrAppMaster。
（6）RM 将用户的请求初始化成一个 Task，并放入队列。
（7）其中一个 NodeManager 从队列领取到 Task 任务。
（8）该 NodeManager 创建容器 Container，并产生 MRAppmaster
（9）Container 从 HDFS 上拷贝资源到本地。
（10）MRAppmaster 向 RM 申请运行 MapTask 资源。
（11）RM 将运行 MapTask 任务分配给另外两个 NodeManager，另两NodeManager 分别领取任务并创建容器。
（12）MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个NodeManager 分别启动 MapTask，MapTask 对数据分区排序。
（13）MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器，运行 ReduceTask。
（14）ReduceTask 向 MapTask 获取相应分区的数据。
（15）程序运行完毕后，MR 会向 RM 申请注销自己。
Yarn、HDFS和Mapreduce
从作业提交角度
调度器
当前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。
调度器的配置在yarn-default.xml 文件
FIFO 调度器（First In First Out）
FIFO 调度器（First In First Out）单队列，根据提交作业的先后顺序，先来先服务。
不支持多队列！
容量调度器（Capacity Scheduler）
Capacity Scheduler 是 Yahoo 开发的多用户调度器。
1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用 程序提交，则其他队列借调的资源会归还给该队列
4、多租户： 支持多用户共享集群和多应用程序同时运行。 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量（总量）进行限定
资源分配
1）队列资源分配
从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。 上面例子先选择队列A，先做小任务。
2）作业资源分配
默认按照提交作业的优先级和提交时间，顺序分配资源。
3）容器资源分配
按照容器的优先级分配资源；
如果优先级相同，按照数据本地性原则：
（1）任务和数据在同一节点
（2）任务和数据在同一机架
（3）任务和数据不在同一节点也不在同一机架
公平调度器（Fair Scheduler）
Fair Schedulere 是 Facebook 开发的多用户调度器。
设计目标：同队列所有任务共享资源，在时间尺度上获得公平的资源
1）与容量调度器相同点
2）与容量调度器不同点
（1）核心调度策略不同
容量调度器：优先选择资源利用率低的队列
公平调度器：优先选择对资源的缺额比例大的
（2）每个队列可以单独设置资源分配方式
容量调度器：FIFO、 DRF
公平调度器：FIFO、FAIR、DRF
缺额
某一时刻一个作业应获资源和实际获取资源的差距叫“缺额” ，调度器会优先为缺额大的作业分配资源
调度算法/策略
我们前面说过，调度器可以选择不同的策略（除了FIFO调度器）
容量调度器：FIFO、 DRF
公平调度器：FIFO、FAIR、DRF
FIFO策略
除了FIFO调度器，公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于容量调度器
Fair策略
Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
➢ 实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）
➢ 是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）
➢ 资源分配比：minShareRatio = 资源使用量 / Max（mindshare, 1）
➢ 资源使用权重比：useToWeightRatio = 资源使用量 / 权重
用例说明
如下图：
队列资源分配
需求：集群总资源100，有三个队列，对资源的需求分别是： queueA -> 20， queueB ->50， queueC -> 30
第一次算：100 / 3 = 33.33
queueA：分33.33 → 多13.33
queueB：分33.33 → 少16.67
queueC：分33.33 → 多3.33
第二次算： （13.33 + 3.33）/ 1 = 16.66
queueA：分20
queueB：分33.33 + 13.66+3.33 = 50
queueC：分30
作业资源分配
不加权（关注点是Job的个数）
需求：有一条队列总资源12个, 有4个job，对资源的需求分别是: job1->1, job2->2 , job3->6, job4->5 第一次算: （分母对于需求数）
12 / 4 = 3
job1: 分3 –> 多2个
job2: 分3 –> 多1个
job3: 分3 –> 差3个
job4: 分3 –> 差2个
第二次算: 3 / 2 = 1.5（多出来的3个分给2个job)
job1: 分1
job2: 分2
job3: 分3 –> 差3个 –> 分1.5 –> 最终: 4.5
job4: 分3 –> 差2个 –> 分1.5 –> 最终: 4.5
一直算到没有空闲资源
加权（关注点是Job的权重）
需求：有一条队列总资源16，有4个job 对资源的需求分别是:
job1->4 job2->2 job3->10 job4->4
每个job的权重为:
job1->5 job2->8 job3->1 job4->2
第一次算: （分母对于权重）
16 / (5+8+1+2) = 1
job1: 分5 –> 多1
job2: 分8 –> 多6
job3: 分1 –> 少9
job4: 分2 –> 少2
第二次算: 7 / (1+2) = 7/3
job1: 分4
job2: 分2
job3: 分1 –> 分7/3（2.33） –>少6.67
job4: 分2 –> 分14/3(4.66) –>多2.66
第三次算:2.66/1=2.66 job1: 分4
job2: 分2
job3: 分2.33 –> 分2.66/1 –> 分2.66
job4: 分4
一直算到没有空闲资源
DRF策略
DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默 认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用 应该分配的资源比例。 那么在YARN中，我们用DRF来决定如何调度： 假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是 CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比 例的限制。