maocorte/flink

Flink Docker镜像

镜像概述和主要用途

该Docker镜像适用于运行Flink，可通过docker-compose在本地快速部署Flink集群。默认包含三个容器：flink-jobmanager（集群模式运行的JobManager，暴露Flink端口和WebUI端口）、flink-taskmanager（连接JobManager的TaskManager）和flink-history-server（Flink历史服务器），适用于本地开发、测试Flink作业及学习演示。

核心功能和特性

• JobManager：以集群模式运行，负责协调Flink作业执行，暴露服务端口和WebUI端口
• TaskManager：通过静态DNS名称jobmanager连接JobManager，负责实际数据处理，支持动态扩展数量
• History Server：提供Flink作业历史记录查询功能
• 便捷部署：通过docker-compose实现一键部署完整Flink集群，简化本地环境搭建流程

使用场景和适用范围

• 本地Flink应用程序开发与调试
• 快速搭建Flink集群进行功能验证
• 学习Flink框架及分布式计算原理
• 演示Flink作业执行流程和监控能力

使用方法和配置说明

构建镜像

仅在修改Dockerfile或启动脚本时需要构建，否则可直接使用。构建步骤：

1. 从Github获取代码
2. 根据需求修改相关文件
3. 执行构建命令：

   bash
   docker build .
   

本地运行

启动JobManager和TaskManager

1. 从Github获取docker-compose.yml文件
2. 启动集群（后台运行）：

   bash
   docker-compose up -d
   

   此命令将启动包含1个JobManager、1个TaskManager和History Server的集群

扩展TaskManager数量

如需增加TaskManager节点，执行：

bash
docker-compose scale taskmanager=5

将TaskManager数量扩展至5个（可根据需求调整数字）

部署和运行作业

1. 复制作业JAR到JobManager：

   bash
   docker cp /path/to/job.jar $(docker ps --filter name=jobmanager --format={{.ID}}):/job.jar
   

   （将/path/to/job.jar替换为实际作业JAR路径）

2. 复制数据到Flink节点（如作业需要本地数据）：

   bash
   for i in $(docker ps --filter name=flink --format={{.ID}}); do
     docker cp /path/to/data.csv $i:/data.csv
   done
   

   （将/path/to/data.csv替换为实际数据文件路径）

3. 运行作业：

   bash
   docker exec -it $(docker ps --filter name=jobmanager --format={{.ID}}) flink run -c <your_job_class> /job.jar [可选参数]
   

   • <your_job_class>：作业主类全限定名
   • [可选参数]：可指定数据路径等作业参数（如之前复制的/data.csv）

访问Flink Web控制台

集群启动后，通过浏览器访问： http://localhost:8081 可查看集群状态、作业执行情况及监控指标

停止Flink集群

关闭并清理集群：

bash
docker-compose down

免责声明

Apache®、Apache Flink™、Flink™以及Apache feather徽标是The Apache Software Foundation的商标。