melentye/flink

Flink Docker镜像

镜像概述和主要用途

这是一个适用于在Kubernetes中运行Flink的Docker镜像，也可通过docker-compose在本地运行。默认包含两个容器：

• flink-jobmanager - 以集群模式运行Flink Job Manager，暴露Flink服务端口和WebUI端口
• flink-taskmanager - 运行Flink Task Manager，通过静态DNS名称flink-jobmanager连接到Job Manager

Docker设置主要受https://github.com/apache/flink/tree/master/flink-contrib/docker-flink%E9%A1%B9%E7%9B%AE%E5%BD%B1%E5%93%8D%E3%80%82

核心功能和特性

• 支持Kubernetes环境部署和本地docker-compose运行两种模式
• 内置Flink集群核心组件（JobManager和TaskManager）
• 提供WebUI界面，方便监控和管理Flink作业
• 支持动态扩展TaskManager数量
• 简化Flink作业部署流程，提供便捷的容器化运行环境

使用场景和适用范围

• 本地开发和测试Flink流处理/批处理应用
• 在Kubernetes集群中部署生产环境Flink应用
• 需要快速搭建Flink集群进行功能验证和性能测试
• 教学和学习Flink框架的容器化部署方式

使用方法和配置说明

Build

仅当修改了Dockerfile或启动shell脚本时需要构建镜像，否则可直接使用。

构建步骤：

1. 从Github获取代码
2. 根据需求修改相关文件
3. 运行make命令构建镜像

Run locally

从Github获取docker-compose.yml文件后，使用以下命令操作：

启动JobManager和TaskManager

bash
docker-compose up -d

在后台启动包含1个Job Manager和1个Task Manager的Flink集群。

扩展TaskManagers

bash
docker-compose scale flink-taskmanager=5

将Task Manager数量扩展到5个。

部署和运行作业

1. 将Flink作业JAR复制到Job Manager容器：

bash
docker cp /path/to/job.jar $(docker ps --filter name=flink-jobmanager --format={{.ID}}):/job.jar

2. 如需数据文件，复制到所有Flink节点：

bash
for i in $(docker ps --filter name=flink --format={{.ID}}); do
  docker cp /path/to/data.csv $i:/data.csv
done

3. 运行作业：

bash
docker exec -it $(docker ps --filter name=flink-jobmanager --format={{.ID}}) flink run -c <your_job_class> /job.jar [optional params]

可选参数可指向之前复制的数据集路径。

访问Flink Web Dashboard

通过浏览器访问 http://localhost:8081 查看集群状态和作业信息。

停止Flink集群

bash
docker-compose down

关闭并清理Flink集群容器。

Contribution

欢迎在Github上提交issue或PR参与贡献。