当前位置:网站首页 > R语言数据分析 > 正文

yarn命令查看队列配置(查看yarn状态的命令)



Yarn

  • 1.Yarn基础架构
  • ResourceManager(RM)
  • NodeManager(NM)
  • ApplicationMaster(AM)
  • Container
  • 2.Yarn工作流程
  • HDFSMRYarn的配合
  • 3.Yarn资源调度器
  • 理解调度器的功能
  • 3.1 FIFO调度器
  • 3.2 Capacity Scheduler
  • 3.3 公平调度器
  • 3.4 Yarn调度器多队列配置(☆)
  • 4.Yarn常用命令
  • 1.yarn application查看任务
  • 2.yarn logs 查看日志
  • 3.yarn applicationattempt 查看尝试运行的任务
  • 4.yarn container 查看容器
  • 5.yarn node 查看节点状态
  • 6.yarn rmadmin 更新任务配置
  • 7.yarn queue 查看队列状态
  • 5.yarn生产环境核心配置参数
  • 1.ResourceManager相关配置
  • 2.NodeManager相关
  • 3.Container相关
  • 4. AppMaster进程相关
  • 4.1 增加ApplicationMaster资源比例
  • 多队列配置

核心组件:

  • ResourceManager
  • NodeManager
  • ApplicationMaster
  • Container

yarn查看队列资源使用情况 yarn队列参数_ci

(10)RM会在有资源的NodeManager节点上创建容器来运行MapTask任务

yarn查看队列资源使用情况 yarn队列参数_hadoop_02

Hadoop作业调度器主要有三种:

  • FIFO
  • Capacity Scheduler
  • Fair Scheduler

具体设置详见:yarn-default.xml文件

yarn查看队列资源使用情况 yarn队列参数_ci_03

yarn查看队列资源使用情况 yarn队列参数_hadoop_04

yarn查看队列资源使用情况 yarn队列参数_ci_05

yarn查看队列资源使用情况 yarn队列参数_hadoop_06

容量调度器优先给小队列的job分配资源,FAIR优先给缺额大的job分配资源;

某一时刻应该获取的资源和实际获取的资源的差值;


yarn查看队列资源使用情况 yarn队列参数_hadoop_07

yarn查看队列资源使用情况 yarn队列参数_hadoop_08

yarn查看队列资源使用情况 yarn队列参数_应用程序_09

yarn查看队列资源使用情况 yarn队列参数_yarn查看队列资源使用情况_10

yarn查看队列资源使用情况 yarn队列参数_yarn查看队列资源使用情况_11

(1)查看所有在yarn集群上正在运行的任务

yarn查看队列资源使用情况 yarn队列参数_hadoop_12

yarn查看队列资源使用情况 yarn队列参数_ci_13

(1) 查看Application日志 [重要]

如果yarn ui页面或者没有配置历史服务器,就可以通过这个命令查看

(2) 查看一个container中任务的执行日志

yarn查看队列资源使用情况 yarn队列参数_应用程序_14

yarn查看队列资源使用情况 yarn队列参数_应用程序_15

yarn查看队列资源使用情况 yarn队列参数_hadoop_16

yarn查看队列资源使用情况 yarn队列参数_应用程序_17

yarn查看队列资源使用情况 yarn队列参数_hadoop_18

这个命令很重要,如果我们修改了yarn的队列配置,不需要重启yarn,直接执行这个命令,yarn就能重新读取配置文件;

yarn查看队列资源使用情况 yarn队列参数_hadoop_19

  • 功能:配置调度器种类;
  • apache默认是fifo,cdh默认是fair

  • resourcemanager能够接受的客户端线程;
  • 默认50个

  • 是否将虚拟核数当作CPU核数,默认false;
  • 如果NM之间的配置不同,有的配置高,有的配置低,纯按照物理核,性能好的浪费资源,所以此时开启这个配置

  • 此配置项依赖上面一个
  • 虚拟核能顶多少个核物理核,该参数应设置为2,默认1

  • NodeManager节点上缴给yarn可用的内存;默认8G

  • Nodemanager为系统保留多少内存;
  • 这个参数和上面一个参数是相反的,因此二者只配置一个即可

  • Nodemanager上缴给yarn的cpu核数;默认8个

  • 是否开启物理内存检查限制,默认打开;
  • 检查NM内存使用情况,如果不加控制,可能会占用系统内存,导致机器崩溃;

  • 是否开启虚拟内存检查限制,默认打开;

  • 虚拟内存和物理内存比例;默认2:1

  • 容器最小内存,默认1g

  • 容器最大内存,默认8g;不能超过NM上缴的内存

  • 容器最小cpu核数,默认1个

  • 容器最大cpu核数,默认4个;不能超过NM上缴的CPU核数

4.1 增加ApplicationMaster资源比例

(1)在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值

[atguigu@hadoop102 hadoop]$ vim capacity-scheduler.xml

到此这篇yarn命令查看队列配置(查看yarn状态的命令)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • spring入门(spring入门程序实验报告)2025-07-10 07:45:07
  • pdfviewer下载(pdf reader download)2025-07-10 07:45:07
  • fstream 读取一行(fstream getline读取不对)2025-07-10 07:45:07
  • torna(tornado翻译成中文)2025-07-10 07:45:07
  • swagger20和21的区别(swagger2ui)2025-07-10 07:45:07
  • console gamer(console game日语)2025-07-10 07:45:07
  • junit testng区别(junit vintage与 junit jupitor)2025-07-10 07:45:07
  • druid怎么读(drury 怎么读)2025-07-10 07:45:07
  • broadcom linux驱动(linux platform驱动)2025-07-10 07:45:07
  • druid未授权访问漏洞修复修改(druid 未授权访问)2025-07-10 07:45:07
  • 全屏图片