mesoshq/flink

Apache Flink Docker镜像

镜像概述和主要用途

本镜像为创建Apache Flink集群提供基础环境，可用于部署JobManager（作业管理器）或TaskManager（任务管理器）节点，支持构建完整的Flink分布式计算集群。

核心功能和特性

• 支持通过环境变量灵活配置Flink所有配置参数
• 自动将环境变量转换为flink-config.yaml配置文件
• 兼容独立Docker部署和Mesos/Marathon容器编排平台
• 支持JobManager和TaskManager两种节点角色部署

配置属性

可通过环境变量设置Flink的所有配置参数。环境变量命名规则为：

• 前缀为flink_
• 将原配置参数中的.替换为_
• 名称使用小写

例如，要设置recovery.mode配置，需指定环境变量flink_recovery_mode（如-e flink_recovery_mode=zookeeper）。这些环境变量会在启动前由docker-entrypoint.sh脚本自动添加到flink-config.yaml文件中。

使用方法

通过独立Docker运行

启动JobManager（使用主机网络，绑定127.0.0.1）

bash
docker run -d \
  --name JobManager \
  --net=host \
  -e HOST=127.0.0.1 \
  -e PORT0=6123 \
  -e PORT1=8081 \
  mesoshq/flink:1.1.3 jobmanager

启动TaskManager

bash
docker run -d \
  --name TaskManager \
  --net=host \
  -e flink_jobmanager_rpc_address=127.0.0.1 \
  -e flink_jobmanager_rpc_port=6123 \
  -e flink_taskmanager_tmp_dirs=/data/tasks \
  -e flink_blob_storage_directory=/data/blobs \
  -e flink_state_backend=filesystem \
  -e flink_taskmanager_numberOfTaskSlots=1 \
  -e flink_taskmanager_heap_mb=2048 \
  -e HOST=127.0.0.1 \
  -e PORT0=7001 \
  -e PORT1=7002 \
  -e PORT2=7003 \
  mesoshq/flink:1.1.3 taskmanager

通过Mesos/Marathon运行

启动JobManager（需将flink_recovery_zookeeper_quorum替换为集群实际ZooKeeper地址）

json
{
  "id": "/flink/jobmanager",
  "cmd": null,
  "cpus": 1,
  "mem": 1024,
  "disk": 0,
  "instances": 1,
  "container": {
    "type": "DOCKER",
    "volumes": [],
    "docker": {
      "image": "mesoshq/flink:1.1.2",
      "network": "HOST",
      "privileged": false,
      "parameters": [],
      "forcePullImage": true
    }
  },
  "args": ["jobmanager"],
  "env": {
    "flink_recovery_mode": "zookeeper",
    "flink_recovery_zookeeper_quorum": "172.17.10.101:2181",
    "flink_recovery_zookeeper_storageDir": "/data/zk"
  },
  "ports": [0, 0],
  "healthChecks": [
    {
      "portIndex": 0,
      "protocol": "TCP",
      "gracePeriodSeconds": 30,
      "intervalSeconds": 10,
      "timeoutSeconds": 3,
      "maxConsecutiveFailures": 1
    }
  ]
}

启动TaskManager

json
{
  "id": "/flink/taskmanager",
  "cmd": null,
  "cpus": 2,
  "mem": 4096,
  "disk": 0,
  "instances": 1,
  "container": {
    "type": "DOCKER",
    "volumes": [],
    "docker": {
      "image": "mesoshq/flink:1.1.2",
      "network": "HOST",
      "privileged": false,
      "parameters": [],
      "forcePullImage": true
    }
  },
  "args": ["taskmanager"],
  "env": {
    "flink_recovery_mode": "zookeeper",
    "flink_recovery_zookeeper_quorum": "172.17.10.101:2181",
    "flink_recovery_zookeeper_storageDir": "/data/zk",
    "flink_taskmanager_tmp_dirs": "/data/tasks",
    "flink_state_backend": "filesystem",
    "flink_blob_storage_directory": "/data/blobs",
    "flink_taskmanager_numberOfTaskSlots": "2",
    "flink_taskmanager_heap_mb": "4096"
  },
  "ports": [0, 0, 0],
  "healthChecks": [
    {
      "portIndex": 0,
      "protocol": "TCP",
      "gracePeriodSeconds": 30,
      "intervalSeconds": 10,
      "timeoutSeconds": 3,
      "maxConsecutiveFailures": 1
    }
  ]
}

使用场景和适用范围

• 构建Flink分布式计算集群
• 开发和测试Flink流处理/批处理应用
• 在容器化环境中部署Flink集群
• 与Mesos/Marathon等容器编排平台集成实现集群自动化管理