来源:腾讯云
2023-04-10 17:37:29
基于Standalone或者Yarn模式提交Flink任务后,当任务执行失败、取消或者完成后,可以在WebUI中查看对应任务的统计信息,这些统计信息在生产环境中对我们来说非常重要,可以知道一个任务异常挂掉前发生了什么,便于定位问题。
当基于Standalone session模式提交相应任务时,集群重启后我们没有办法查看集群之前运行任务的情况,如果是基于pre-job方式提交任务,任务执行完成之后,那么相对应的统计信息也不会保存,基于Yarn运行的Flink任务也是一样道理。这样对于我们查看先前Flink作业统计信息或参数带来了不便。Flink中提供了History Server 来解决这个问题,可以在任务执行完成后保留相应的任务统计信息,便于分析和定位问题。
(资料图片仅供参考)
History Server 允许查询由JobManager归档的已完成作业的状态和统计日志信息。已完成的作业归档由JobManager上传持久化到某个路径下,这个路径可以是本地文件系统、HDFS、H3等,History Server 可以周期扫描该路径将归档的Flink任务日志恢复出来,从而可以查看相应Flink任务日志情况。
在Standalone中配置History Server 服务需要选择一台节点当做History Server ,这台节点可以是JobManager/TaskManager节点,也可以是Standalone集群外的一台节点,这里选择node4节点作为Flink History Server 节点。Standalone配置HistoryServer 服务步骤如下:
1.1、在JM 和 TM 节点上配置 flink-conf.yaml
在Flink Standalone JobManager和TaskManager节点上配置flink-conf.yaml文件,指定Flink完成任务持久化的路径,这里选择HDFS目录作为任务日志持久化保存目录。在node1、node2、node3节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入以下配置。
#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/
Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node1、node2、node3节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile
1.2、在History Server 节点上配置 flink-conf.yaml
在node4节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,加入如下配置,配置HistoryServer。
#Flink History Server 节点historyserver.web.address: node4#Flink History Server 端口historyserver.web.port: 8082#Flink History Server 恢复任务的目录historyserver.archive.fs.dir: hdfs://mycluster/flink/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000
Flink会根据以上配置连接HDFS目录恢复任务数据,这里要求"historyserver.archive.fs.dir"参数配置需要与Flink各个节点上配置的"jobmanager.archive.fs.dir"参数路径保持一致。此外,需要在node4节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
# vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效[root@node4 ~]# source /etc/profile
1.3、启动 Flink 历史日志服务器
在node4节点上启动Flink History Server
#启动Flink 历史日志服务器[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./historyserver.sh start
History Server 启动后,可以通过https://node4:8082 来访问历史日志服务页面。
我们可以通过向Standalone集群中提交任务来验证History Server是否能正常展示运行Flink任务的统计信息,步骤如下:
2.1、启动 Standalone 集群
[root@node1 ~]# cd /software/flink-1.16.0/bin/[root@node1 bin]# ./start-cluster.sh
2.2、提交任务
向Flink集群中提交任务,任务还是选择读取Socket端口数据实时统计WordCount。首先在node5节点上启动socket服务:
[root@node5 ~]# nc -lk 9999
在node4 客户端提交Flink任务(可以在任意节点提交Flink任务),命令如下:
[root@node4 ~]# cd /software/flink-1.16.0/bin/[root@node4 bin]# ./flink run -m node1:8081 -c com.mashibing.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar
提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。
2.3、取消任务并查看历史日志
在node5节点向Socket 9999端口输入一些数据:
hello,ahello,bhello,chello,d
然后在Flink WebUI中取消当前任务:
取消任务后可以在"hdfs://mycluster/flink/completed-jobs"目录中看到取消任务的信息:
当任务取消后,也可以停止Flink集群,Flink集群重启后先前的任务统计信息不会展示,可以登录Flink历史日志服务器查看先前任务统计信息:
注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。
Flink基于Yarn运行时,当Flink任务形成的集群停止后,无法看到对应任务的统计信息,也可以通过配置History Server来实现基于Yarn的Flink集群停止后查看任务的统计信息。
这里选择node5节点为History Server,基于Yarn运行Flink任务配置HistoryServer服务步骤如下:
1.1、在node5 节点上配置 flink-conf.yaml
在node5节点上配置$FLINK_HOME/conf/flink-conf.yaml文件,最后配置以下配置项。
#Flink job运行完成后日志存储目录jobmanager.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History 服务器地址historyserver.web.address: node5#HistroyServer WebUI 访问端口historyserver.web.port: 8082#HistoryServer历史日志服务恢复任务信息目录historyserver.archive.fs.dir: hdfs://mycluster/flink-yarn/completed-jobs/#Flink History Server 监控任务日志目录刷新时间间隔(毫秒)historyserver.archive.fs.refresh-interval: 10000
Flink会根据以上配置连接HDFS 目录存储任务数据,所以需要在node5节点上/etc/profile中配置HADOOP_CLASSPATH环境变量。
#vim /etc/profile,加入以下配置export HADOOP_CLASSPATH=`hadoop classpath`#source /etc/profile 使环境变量生效source /etc/profile
1.2、启动 Flink 历史日志服务器并访问
在node5节点上启动Flink History Server
#启动Flink 历史日志服务器[root@node5 ~]# cd /software/flink-1.16.0/bin/[root@node5 bin]# ./historyserver.sh start
访问历史日志服务地址:https://node5:8082
在node5节点基于Yarn提交Flink任务来验证History Server是否能正常展示执行完成的Flink任务统计信息。步骤如下:
2.1、向Yarn 集群中提交 Flink任务
向Yarn集群中提交Flink任务,任务还是选择读取Socket端口数据实时统计WordCount。在node5节点启动socket服务器:
[root@node5 ~]# nc -lk 9999
在node5节点向Flink集群中提交Flink任务,命令如下:
[root@node5 ~]# cd /software/flink-1.16.0/bin/# 提交Flink任务[root@node5 bin]#./flink run-application -t yarn-application -c com.lanson.flinkjava.code.chapter3.SocketWordCount /root/FlinkJavaCode-1.0-SNAPSHOT-jar-with-dependencies.jar
提交任务后在HDFS中暂时不会生成hdfs://mycluster/flink/completed-jobs"目录,当Flink集群停止、任务取消、任务失败后才可以在该目录下看到job信息。
2.2、取消任务并查看历史日志
在node5节点向Socket 9999端口输入一些数据:
hello,ahello,bhello,chello,d
然后登录Yarn(https://node1:8081) WebUI,找到提交的任务取消对应Flink任务:
取消任务后可以在"hdfs://mycluster/flink-yarn/completed-jobs"目录中看到取消任务的信息:
登录Flink历史日志服务器查看取消任务统计信息:
注意:在取消任务或者停止Flink集群后,需要等待一小段时间才能在Flink历史日志服务器中查看到对应的取消任务。
关键词: