dishuipinganye/flink

Flink 1.11.1 定制化Docker镜像文档

镜像概述

本镜像基于Apache Flink 1.11.1版本构建，集成Scala 2.12运行环境和Java 8运行时，核心特点是对原生docker-entrypoint.sh脚本进行了定制化修改，旨在优化Flink集群的启动流程、简化配置管理，适用于需要快速部署和运行Flink作业的场景。

核心功能与特性

• 基础环境配置：内置Flink 1.11.1、Scala 2.12和Java 8，满足Flink作业运行的基础依赖需求。
• 定制化入口脚本：修改docker-entrypoint.sh，可能包含以下优化（具体以实际修改内容为准）：
  • 简化启动参数传递方式
  • 支持自定义配置文件挂载路径
  • 优化集群节点间通信配置
  • 添加启动前环境检查逻辑
• 兼容性：与Flink 1.11.1官方镜像的核心功能保持兼容，可无缝迁移现有Flink作业。

使用场景

• 本地开发与测试：快速搭建Flink单机或伪集群环境，验证作业逻辑。
• 小型生产环境部署：适用于数据量较小、对资源要求不高的Flink流处理或批处理任务。
• 教学与演示：作为Flink学习环境，简化环境配置步骤。

使用方法与配置说明

基本使用（单机模式）

通过docker run命令启动Flink JobManager（单机模式）：

bash
docker run -d -p 8081:8081 --name flink-jobmanager [镜像名称]:1.11.1-scala_2.12-java8 jobmanager

启动Flink TaskManager（连接到JobManager）：

bash
docker run -d --name flink-taskmanager --link flink-jobmanager:jobmanager [镜像名称]:1.11.1-scala_2.12-java8 taskmanager

环境变量配置

可通过环境变量调整Flink配置，常用变量包括：

示例：指定TaskManager任务槽数量为2：

bash
docker run -d -e TASK_MANAGER_NUMBER_OF_TASK_SLOTS=2 --name flink-taskmanager --link flink-jobmanager:jobmanager [镜像名称]:1.11.1-scala_2.12-java8 taskmanager

挂载自定义配置文件

如需使用自定义flink-conf.yaml，可通过卷挂载方式覆盖默认配置：

bash
docker run -d -p 8081:8081 -v /path/to/custom/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml --name flink-jobmanager [镜像名称]:1.11.1-scala_2.12-java8 jobmanager

docker-compose部署示例

创建docker-compose.yml文件，快速部署伪集群：

yaml
version: "2.2"
services:
  jobmanager:
    image: [镜像名称]:1.11.1-scala_2.12-java8
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: [镜像名称]:1.11.1-scala_2.12-java8
    depends_on:
      - jobmanager
    command: taskmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=2

启动集群：

bash
docker-compose up -d

注意事项

• 镜像中docker-entrypoint.sh的具体修改内容需参考实际脚本实现，上述功能描述为常见定制化方向。
• 生产环境使用时，建议根据实际业务需求调整资源限制（如内存、CPU）和网络配置。
• Flink 1.11.1为较旧版本，若需使用新特性，建议考虑升级至更高版本镜像。