leewallen/flink

Apache Flink 1.13.1 Docker镜像文档

镜像概述

本镜像基于Apache Flink 1.13.1版本构建，包含Scala 2.12二进制文件，并集成Java 11运行环境。Flink是一个分布式流处理和批处理框架，支持高吞吐、低延迟的数据处理，本镜像提供了开箱即用的Flink运行环境，适用于开发和部署流处理、批处理应用。

核心功能与特性

• 版本信息：Apache Flink 1.13.1，Scala 2.12二进制版本
• 运行环境：内置Java 11，无需额外配置JDK
• 流批一体：支持流处理和批处理统一计算模型
• 分布式架构：可部署为单机模式或集群模式，支持水平扩展
• 兼容性：兼容Scala 2.12生态系统，支持Flink SQL、DataStream API等

使用场景与适用范围

• 实时数据处理与分析（如日志实时处理、监控指标计算）
• 批处理作业执行（如离线数据ETL、报表生成）
• 流批一体应用开发与测试
• 学习和研究Flink框架功能

使用方法与配置说明

基本运行（单机模式）

bash
docker run -d -p 8081:8081 --name flink-1.13.1 apache/flink:1.13.1-scala_2.12-java11

• -p 8081:8081：映射Flink Web UI端口，可通过http://localhost:8081访问
• --name flink-1.13.1：指定容器名称

挂载配置文件（自定义配置）

如需修改Flink配置，可挂载本地配置文件目录：

bash
docker run -d -p 8081:8081 -v /path/to/local/flink/conf:/opt/flink/conf --name flink-1.13.1 apache/flink:1.13.1-scala_2.12-java11

• /path/to/local/flink/conf：本地Flink配置文件目录，包含flink-conf.yaml等配置文件

提交作业

通过flink run命令提交作业到运行中的容器：

bash
docker exec -it flink-1.13.1 flink run /opt/flink/examples/streaming/WordCount.jar

• /opt/flink/examples/streaming/WordCount.jar：Flink自带的WordCount示例作业

集群模式（使用docker-compose）

创建docker-compose.yml文件：

yaml
version: "2.2"
services:
  jobmanager:
    image: apache/flink:1.13.1-scala_2.12-java11
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

  taskmanager:
    image: apache/flink:1.13.1-scala_2.12-java11
    depends_on:
      - jobmanager
    command: taskmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=2

启动集群：

bash
docker-compose up -d

环境变量说明

• JOB_MANAGER_RPC_ADDRESS：JobManager地址（集群模式必填）
• TASK_MANAGER_NUMBER_OF_TASK_SLOTS：TaskManager的任务槽数量（默认1）
• FLINK_PROPERTIES：自定义Flink配置，格式为key=value，多个配置用空格分隔