CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源

奋斗吧
奋斗吧
擅长邻域:未填写

标签: CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源 Html/CSS博客 51CTO博客

2023-05-06 18:24:05 206浏览

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源,后可以看到配...


目录

计划模式设置

队列资源抢占分配


 

计划模式设置

1.创建计划规则

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_CDH Yarn 计划模式

 

2.设置白天配置,可以根据业务选择具体配置计划,调整资源,选择每天,就是每天的固定时间范围。这里选择每天,时间初步划分为区分白天和晚上

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_Hadoop资源分配_02

 3.创建完成后可以看到配置的计划,然后点击刷新动态资源池,使配置生效

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_Hadoop资源分配_03

4. 根据设置的计划,在资源池中,配置计划时间需要的资源

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_权重_04

 

 5.根据计划配置具体参数

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_Hadoop资源分配_05

 6.分配的结果如下

白天 root.test 队列权重为5,晚上 root.hdfs 队列权重为5

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_CDH Yarn 计划模式_06

 

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_Hadoop资源分配_07

 

7.两个队列同时执行任务,白天执行效果(执行一个队列会把所有资源占用)

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_Hadoop资源分配_08

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_资源分配_09

 

8.两个队列同时执行任务,晚上执行效果(执行一个队列会把所有资源占用)

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_资源分配_10

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_权重_11

 


队列资源抢占分配

 当资源分配如下图所示,如只启动root.hdfs和root.test队列,权占比大的队列,会占用其他没有程序的队列(root.default),而root.test队列只使用自己的资源(可能会有部分抢占但是较少),也就是权占比大的队列,会占用其他未使用资源。

资源分配:

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_CDH Yarn 计划模式_12

 

队列资源使用(启动的任务时相同的操作) 

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_权重_13

上图是三个队列资源分配,四个队列同样是权重大的抢占其他资源多,权重小的基本使用自己资源(抢不过)~ 

CDH 配置YARN动态资源池的计划模式,根据时间划分资源,不同时间不同队列使用不同资源_资源分配_14

好博客就要一起分享哦!分享海报

此处可发布评论

评论(0展开评论

暂无评论,快来写一下吧

展开评论

您可能感兴趣的博客

客服QQ 1913284695