sedgewickmm18/flink

Flink on Kubernetes Docker镜像文档

镜像概述

本Docker镜像用于在Kubernetes集群上部署和运行Apache Flink，受https://github.com/kubernetes/application-images/tree/master/spark%E5%90%AF%E5%8F%91%E3%80%82%E9%95%9C%E5%83%8F%E5%9F%BA%E4%BA%8EFlink 1.2.0版本，支持Job Manager（主节点）和Task Manager（工作节点）的容器化部署，提供完整的Flink集群功能，包括WebUI监控和作业提交。

镜像来源

Docker镜像可在https://hub.docker.com/r/sedgewickmm18/flink/%E8%8E%B7%E5%8F%96%EF%BC%8C%E6%9E%84%E5%BB%BA%E8%AF%B4%E6%98%8E%E8%AF%A6%E8%A7%81https://github.com/sedgewickmm18/flink-kubernetes/blob/master/DOCKER.md%E3%80%82

核心功能与特性

• Kubernetes集成：支持在Kubernetes集群中部署Flink集群，通过Replication Controller管理容器生命周期
• 完整集群组件：包含Job Manager（主节点）和Task Manager（工作节点）
• WebUI支持：提供Flink WebUI用于集群监控和作业管理
• 灵活扩展：通过调整Replication Controller配置实现Task Manager节点数量动态扩展
• 日志与调试：支持通过kubectl命令查看容器日志，便于问题排查

使用场景

• 实时流数据处理应用
• 大规模批处理作业
• 需要容器化部署的Flink集群环境
• 基于Kubernetes的大数据处理平台

部署与使用指南

前提条件

• 已安装并运行的Kubernetes集群（推荐使用https://github.com/kubernetes/minikube%E8%BF%9B%E8%A1%8C%E6%9C%AC%E5%9C%B0%E6%B5%8B%E8%AF%95%EF%BC%89
• kubectl命令行工具已配置并添加到环境变量

步骤一：创建命名空间创建

创建Flink集群专用命名空间：

console
$ kubectl create -f namespace.yaml

验证命名空间创建结果：

console
$ kub
$
$ kubectl get names
NAME          STATUS    AGE
default       Active    3h
flink         Active    20m
kube-system   Active    3h

配置上下文以默认使用flink命名空间：

console
$ kubectl config set-context flink --namespace=flink --cluster=${YOUR_CLUSTER_NAME} --user=${YOUR_USER_NAME}
$ kubectl config use-context flink

集群名称和用户名可在~/.kube/config文件中查看

步骤二：启动Job Manager服务

Job Manager是Flink集群的主节点服务，负责作业调度和资源管理。

1. 创建Job Manager Replication Controller：

console
$ kubectl create -f jobmanager-controller.yaml
replicationcontroller "jobmanager-controller" created

2. 创建Job Manager服务端点：

console
$ kubectl create -f jobmanager-service.yaml
service "jobmanager" created

3. 创建WebUI服务：

console
$ kubectl create -f jobmanager-webui-service.yaml
service "jobmanager-webui" created

验证Job Manager状态

检查Pod运行状态：

console
$ kubectl get pods
NAME                            READY     STATUS    RESTARTS   AGE
jobmanager-controller-5u0q5     1/1       Running   0          8m

查看Job Manager日志（替换实际Pod名称）：

console
$ kubectl logs jobmanager-controller-5u0q5

访问WebUI

通过kubectl代理访问WebUI：

console
kubectl proxy --port=8081 &

WebUI地址：http://localhost:8080/api/v1/proxy/namespaces/flink/services/jobmanager-webui/

或使用端口转发（替换实际Pod名称）：

console
kubectl port-forward jobmanager-controller-9pc74 8081:8081

步骤三：启动Task Manager

Task Manager是Flink集群的工作节点，负责实际数据处理。

创建Task Manager Replication Controller：

console
$ kubectl create -f taskmanager-controller.yaml
replicationcontroller "taskmanager-controller" created

验证Task Manager状态

检查Pod运行状态：

console
$ kubectl get pods
NAME                            READY     STATUS    RESTARTS   AGE
jobmanager-controller-5u0q5     1/1       Running   0          25m
taskmanager-controller-e8otp    1/1       Running   0          6m
taskmanager-controller-fiivl    1/1       Running   0          6m

查看Job Manager日志确认Task Manager注册情况：

console
$ kubectl logs jobmanager-controller-5u0q5

本地Docker环境测试

启动Job Manager

console
docker run -ti -p 8081:8081 --name jobmanager flink jobmanager jobmanager

启动Task Manager

console
docker run -ti --link jobmanager flink taskmanager jobmanager num

作业提交

通过WebUI提交作业：

1. 访问Flink WebUI
2. 上传作业JAR文件
3. 配置作业参数并提交

故障排除

查看容器日志

获取Task Manager Pod名称：

console
kubectl get pods | grep taskmanager

查看日志文件列表：

console
kubectl exec taskmanager-controller-dc0zx -- ls /opt/flink/log

查看具体日志（替换实际Pod名称和日志文件名）：

console
kubectl exec taskmanager-controller-dc0zx -- less /opt/flink/log/flink--taskmanager-0-taskmanager-controller-dc0zx.log

更多Kubernetes故障排查参考官方文档

Flink兼容性说明

本镜像基于Flink 1.2.0版本，已解决FLINK-2821问题（Task Manager与Job Manager的IP地址匹配问题）。对于Flink 1.1.3版本，需使用包含自定义Akka 3构建的特殊镜像。