1.
2.
安装
见hadoop安装
yarn的web页面：
http://hadoop1:8088/cluster
启动yarn也可以用两种方式。
命令运行帮助：
使用官方自带的示例：
由以上的提示可知，可以，可以等等。
上传到上
统计该文件的wordcount
说明：上述使用（可以直接/whb/wordfile.txt）文件（也可以使用本地）,结果放在hdfs的文件夹下。
运行过程：
上述分析：
在yarn 页面可以看到job
在hdfs可以看到产出结果。
查看结果：
上述是以空格分隔的做统计的。
是空文件，做标识。
yarn页面显示：Application application_80_0001 中间指的是时间戳。
再次提交相同的命令：
会报产出路径已经存在的错误。
一般在logs/下找.log文件。
yarn在跑任务时，除了、进程，还会有yarn对应的进程，如。
主从架构
- 主：nameNode
从：dataNode - 主：ResourceManager
从：NodeManager
RM：全局的资源管理器，整个集群只有一个。负责集群资源的统一调度分配。负责对各个nodeManager上的资源进行统一的管理和调度。
AM：用户提交的每个应用都包含一个AM
主要功能：与RM协商获取资源（用Container）;
与NM通信启动和停止任务；
监控所有任务运行状态，并在任务运行失败的时候重新申请资源用于重启任务。
NM：是每个节点上的资源和任务管理器。一方面它会定时向RM会报本节点上的资源使用情况和各个节点上的Container的运行状态；另一方面它会接收并处理来自AM的Container启动和停止请求。
是yarn中的抽象概念，它封装cpu、内存、多个节点上的多维度资源
当AM向RM申请资源，RM返回给AM的资源便是Container
yarn会每个任务分配一个Container，且该任务只能使用该Container中描述的资源。
用官方文档的解释：
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。 我们的想法是拥有一个全局和每个应用程序。 应用程序可以是单个作业，也可以是作业的。
和构成了数据计算框架。 ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。 NodeManager是每台机器框架代理，负责容器，监视其资源使用情况（CPU，内存，磁盘，网络）并将其报告给ResourceManager / Scheduler。
每个应用程序ApplicationMaster实际上是一个特定于框架的库，其任务是协调来自ResourceManager的资源，并与NodeManager一起执行和监视任务。
有两个主要组件：和。
调度程序负责根据熟悉的容量，队列等约束将资源分配给各种正在运行的应用程序。调度程序是纯调度程序，因为它不执行应用程序状态的监视或跟踪。 此外，由于应用程序故障或硬件故障，它无法保证重新启动失败的任务。 调度程序根据应用程序的资源需求执行其调度功能; 它是基于资源Container的抽象概念，它包含内存，CPU，磁盘，网络等元素。
调度程序具有可插入策略，该策略负责在各种队列，应用程序等之间对集群资源进行分区。当前的调度程序（如CapacityScheduler和FairScheduler）将是插件的一些示例。
ApplicationsManager负责接受作业提交，协商第一个容器以执行特定于应用程序的ApplicationMaster，并提供在失败时重新启动ApplicationMaster容器的服务。 每个应用程序ApplicationMaster负责从调度程序协商适当的资源容器，跟踪其状态并监视进度。
到此这篇yarn logs -applicationid命令（yarn application -list）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/rfx/26514.html