Yarn
- 1.Yarn基础架构
- ResourceManager(RM)
- NodeManager(NM)
- ApplicationMaster(AM)
- Container
- 2.Yarn工作流程
- HDFSMRYarn的配合
- 3.Yarn资源调度器
- 理解调度器的功能
- 3.1 FIFO调度器
- 3.2 Capacity Scheduler
- 3.3 公平调度器
- 3.4 Yarn调度器多队列配置（☆）
- 4.Yarn常用命令
- 1.yarn application查看任务
- 2.yarn logs 查看日志
- 3.yarn applicationattempt 查看尝试运行的任务
- 4.yarn container 查看容器
- 5.yarn node 查看节点状态
- 6.yarn rmadmin 更新任务配置
- 7.yarn queue 查看队列状态
- 5.yarn生产环境核心配置参数
- 1.ResourceManager相关配置
- 2.NodeManager相关
- 3.Container相关
- 4. AppMaster进程相关
- 4.1 增加ApplicationMaster资源比例
- 多队列配置
核心组件：
- ResourceManager
- NodeManager
- ApplicationMaster
- Container
（10）RM会在有资源的NodeManager节点上创建容器来运行MapTask任务
Hadoop作业调度器主要有三种：
- FIFO
- Capacity Scheduler
- Fair Scheduler
具体设置详见：yarn-default.xml文件
容量调度器优先给小队列的job分配资源，FAIR优先给缺额大的job分配资源；
某一时刻应该获取的资源和实际获取的资源的差值；
（1）查看所有在yarn集群上正在运行的任务
(1) 查看Application日志 [重要]
如果yarn ui页面或者没有配置历史服务器，就可以通过这个命令查看
(2) 查看一个container中任务的执行日志
这个命令很重要，如果我们修改了yarn的队列配置，不需要重启yarn，直接执行这个命令，yarn就能重新读取配置文件；
- 功能：配置调度器种类；
- apache默认是fifo，cdh默认是fair
- resourcemanager能够接受的客户端线程；
- 默认50个
- 是否将虚拟核数当作CPU核数，默认false;
- 如果NM之间的配置不同，有的配置高，有的配置低，纯按照物理核，性能好的浪费资源，所以此时开启这个配置
- 此配置项依赖上面一个
- 虚拟核能顶多少个核物理核，该参数应设置为2，默认1
- NodeManager节点上缴给yarn可用的内存；默认8G
- Nodemanager为系统保留多少内存；
- 这个参数和上面一个参数是相反的，因此二者只配置一个即可
- Nodemanager上缴给yarn的cpu核数；默认8个
- 是否开启物理内存检查限制，默认打开；
- 检查NM内存使用情况，如果不加控制，可能会占用系统内存，导致机器崩溃；
- 是否开启虚拟内存检查限制，默认打开；
- 虚拟内存和物理内存比例；默认2：1
- 容器最小内存，默认1g
- 容器最大内存，默认8g；不能超过NM上缴的内存
- 容器最小cpu核数，默认1个
- 容器最大cpu核数，默认4个；不能超过NM上缴的CPU核数
4.1 增加ApplicationMaster资源比例
（1）在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值
[atguigu@hadoop102 hadoop]$ vim capacity-scheduler.xml
到此这篇yarn命令查看队列配置（查看yarn状态的命令）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/rfx/35809.html