Yarn
- 1.Yarn基础架构
- ResourceManager(RM)
- NodeManager(NM)
- ApplicationMaster(AM)
- Container
- 2.Yarn工作流程
- HDFSMRYarn的配合
- 3.Yarn资源调度器
- 理解调度器的功能
- 3.1 FIFO调度器
- 3.2 Capacity Scheduler
- 3.3 公平调度器
- 3.4 Yarn调度器多队列配置(☆)
- 4.Yarn常用命令
- 1.yarn application查看任务
- 2.yarn logs 查看日志
- 3.yarn applicationattempt 查看尝试运行的任务
- 4.yarn container 查看容器
- 5.yarn node 查看节点状态
- 6.yarn rmadmin 更新任务配置
- 7.yarn queue 查看队列状态
- 5.yarn生产环境核心配置参数
- 1.ResourceManager相关配置
- 2.NodeManager相关
- 3.Container相关
- 4. AppMaster进程相关
- 4.1 增加ApplicationMaster资源比例
- 多队列配置
核心组件:
- ResourceManager
- NodeManager
- ApplicationMaster
- Container
(10)RM会在有资源的NodeManager节点上创建容器来运行MapTask任务
Hadoop作业调度器主要有三种:
- FIFO
- Capacity Scheduler
- Fair Scheduler
具体设置详见:yarn-default.xml文件
容量调度器优先给小队列的job分配资源,FAIR优先给缺额大的job分配资源;
某一时刻应该获取的资源和实际获取的资源的差值;
(1)查看所有在yarn集群上正在运行的任务
(1) 查看Application日志 [重要]
如果yarn ui页面或者没有配置历史服务器,就可以通过这个命令查看
(2) 查看一个container中任务的执行日志
这个命令很重要,如果我们修改了yarn的队列配置,不需要重启yarn,直接执行这个命令,yarn就能重新读取配置文件;
- 功能:配置调度器种类;
- apache默认是fifo,cdh默认是fair
- resourcemanager能够接受的客户端线程;
- 默认50个
- 是否将虚拟核数当作CPU核数,默认false;
- 如果NM之间的配置不同,有的配置高,有的配置低,纯按照物理核,性能好的浪费资源,所以此时开启这个配置
- 此配置项依赖上面一个
- 虚拟核能顶多少个核物理核,该参数应设置为2,默认1
- NodeManager节点上缴给yarn可用的内存;默认8G
- Nodemanager为系统保留多少内存;
- 这个参数和上面一个参数是相反的,因此二者只配置一个即可
- Nodemanager上缴给yarn的cpu核数;默认8个
- 是否开启物理内存检查限制,默认打开;
- 检查NM内存使用情况,如果不加控制,可能会占用系统内存,导致机器崩溃;
- 是否开启虚拟内存检查限制,默认打开;
- 虚拟内存和物理内存比例;默认2:1
- 容器最小内存,默认1g
- 容器最大内存,默认8g;不能超过NM上缴的内存
- 容器最小cpu核数,默认1个
- 容器最大cpu核数,默认4个;不能超过NM上缴的CPU核数
4.1 增加ApplicationMaster资源比例
(1)在hadoop102的/opt/module/hadoop-3.1.3/etc/Hadoop/capacity-scheduler.xml文件中修改如下参数值
[atguigu@hadoop102 hadoop]$ vim capacity-scheduler.xml
到此这篇yarn命令查看队列配置(查看yarn状态的命令)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!版权声明:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符,请将相关资料发送至xkadmin@xkablog.com进行投诉反馈,一经查实,立即处理!
转载请注明出处,原文链接:https://www.xkablog.com/rfx/35809.html