当前位置:网站首页 > R语言数据分析 > 正文

yarn 查看日志(查看yarn application)



Yarn是一个资源管理器和任务调度器,如果你的大数据集群是用的Yarn来管理的,那下面有几个比较常用的命令。

该命令是查看在所有Yarn上运行的任务信息,一般包括:Application-Id、Application-Name、Application-Type、User、Queue、State、Final-State、Progress、Tracking-URL

通常这个命令并会会单独用,因为一般大数据集群每时每刻都会用很多任务在运行,查看全部任务信息也看不过来,都是搭配其他Linux命令使用,下面介绍一个常用的搭配命令

命令功能:查看在Yarn上运行的所有任务名。

是一个很强大的文本工具,可用于处理文本文件和生成报告,具体命令使用可以通过查看。通过yarn 命令可以查看到Yarn上运行的所有任务信息,再将这个信息传递给命令输出第二列数据,后面的参数起筛选作用(可以模糊匹配)

如果我们想批量kill掉任务,这里不仅要借助命令,还要用到命令

命令功能:批量kill掉yarn上包含Application-Name信息的任务。

通过筛选出对应的任务名信息,通过获取application_id数据,并将数据传递给命令。

命令可以将标准输入的数据转换为命令行参数,并传递给指定的命令。是命令的一个参数,意思就是接收输入的数据,并将这个数据传递给后面的参数命令。具体命令查看

每当我们在Linux测试任务,提交任务到Yarn,这个命令是必备的了。通常也会搭配一些基础的Linux命令使用。

命令就是一个文本查看器了,非常方便,它可以通过空格、n、N、上下左右键来实现页面内容的滚动,当然也可以搭配其他命令来使用,效果是一样的。

显示正在Yarn群集上运行的各个应用程序的资源使用情况,包括:APPLICATIONID、USER、TYPE、QUEUE、PRIOR、#CONT、#RCONT 、VCORES、RVCORES、MEM、RMEM、VCORESECS、MEMSECS、%PROGR、TIME、NAME

通过这个命令可以更好的了解正在运行的应用程序的资源占用情况,以及应用程序当前所处的状态和需要采取的优化措施,但是我用的最多的就是单敲个命令,挂着Linux,防止屏幕太久没动,导致终端退出。

查看某台节点的状态情况,这个很少用到,说这个只是为了知道,可以通过达到控制单台节点的操作

以上就是我目前在工作中会经常接触到的Yarn命令使用方法啦§( ̄▽ ̄)§

原文链接:https://www.dianjilingqu.com/759210.html

到此这篇yarn 查看日志(查看yarn application)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • ueditor编辑器禁用编辑(ueditor编辑器漏洞)2025-11-18 21:27:09
  • docker开机启动(docker 启动)2025-11-18 21:27:09
  • noneart翻译(nonscoreable翻译)2025-11-18 21:27:09
  • esp8266天气时钟代码下载(arduino esp8266天气)2025-11-18 21:27:09
  • ewma模型和garch的区别(garchm模型怎么做eviews)2025-11-18 21:27:09
  • re-pro怎么读(adobepremierepro怎么读)2025-11-18 21:27:09
  • resnet50网络结构(resnet50网络结构原理)2025-11-18 21:27:09
  • qpainter绘制矩形(qpainter drawline)2025-11-18 21:27:09
  • msvcp140.dll文件被占用(msvcr100.dll被占用)2025-11-18 21:27:09
  • prim算法详解(prim算法adjvex)2025-11-18 21:27:09
  • 全屏图片