使用 Flink SQL 客户端以 YARN Application 模式提交任务,可以按照以下步骤进行操作:
准备环境:确保你已经安装了 Flink 和 YARN 的相关组件,并且已经配置好了 Flink 和 YARN 的运行环境。
启动 Flink SQL 客户端:打开终端或命令提示符,并输入以下命令启动 Flink SQL 客户端:
bash
https://developer.aliyun.com/ask/bin/flink-sql-client.sh embedded --jar --class
其中, 是你的 Flink 应用程序的 JAR 文件的路径, 是你的应用程序的入口类。
- 配置 YARN 集群信息:在 Flink SQL 客户端启动后,你需要配置 YARN 集群的相关信息。在 SQL 客户端的命令行界面中,输入以下命令:
sql
SET 'execution.target'='yarn';
SET 'yarn.application.node-label'='';
SET 'yarn.application.name'='';
SET 'yarn.application.queue'='';
其中, 是你为 YARN 节点指定的标签, 是你的应用程序的名称, 是你希望提交应用程序的 YARN 队列名称。
- 编写和提交 Flink SQL 查询:在配置好 YARN 集群信息之后,你可以编写和提交 Flink SQL 查询。在 SQL 客户端的命令行界面中,输入你的 Flink SQL 查询,并使用 RUN 命令执行查询。例如:
sql
CREATE TABLE my_table (id INT, name STRING) WITH (...) ...;
INSERT INTO my_table SELECT * FROM ...;
RUN;
等待任务完成:提交查询后,Flink 会自动将任务提交给 YARN 进行调度和执行。你可以等待任务完成,并查看任务的结果。
结束 Flink SQL 客户端会话:当任务完成后,你可以使用以下命令结束 Flink SQL 客户端会话:
sql
SET 'execution.target'='local';
这将停止将任务提交给 YARN,并将执行模式设置为本地模式。然后,你可以输入 EXIT; 退出 Flink SQL 客户端。
这样,你就成功地使用 Flink SQL 客户端以 YARN Application 模式提交了任务。请确保根据你的实际情况修改相关配置和查询语句。
到此这篇yarn查看任务状态(查询yarn上运行的任务)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!版权声明:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符,请将相关资料发送至xkadmin@xkablog.com进行投诉反馈,一经查实,立即处理!
转载请注明出处,原文链接:https://www.xkablog.com/rfx/82783.html