Confluent Manager for Apache Flink® (CMF) 镜像文档

1. 镜像概述和主要用途

Confluent Manager for Apache Flink® (CMF) 是 Confluent ***提供的 Docker 镜像，用于简化 Apache Flink 集群的监控、管理与运维。该镜像封装了针对 Flink 的专用管理工具，支持实时监控集群状态、作业生命周期管理、配置调优及日志聚合，帮助用户高效运维 Flink 计算资源。

2. 核心功能和特性

2.1 集群监控

• 实时采集 Flink 集群指标（如 TaskManager 资源使用率、JobManager 健康状态、作业吞吐量）
• 可视化展示集群拓扑结构及节点负载分布
• 支持历史指标存储与趋势分析

2.2 作业管理

• 一站式提交、停止、重启 Flink 作业
• 作业配置版本控制与回滚
• 作业性能瓶颈定位（如反压监控、Checkpoint 状态追踪）

2.3 配置与运维

• 集中管理 Flink 集群配置（如内存分配、并行度、Checkpoint 策略）
• 集成日志聚合功能，支持按作业/节点筛选日志
• 支持多集群统一管理，适配 Flink Standalone/On YARN/Kubernetes 部署模式

2.4 告警与通知

• 自定义告警规则（如资源超阈值、作业失败）
• 支持邮件、Slack 等多渠道通知

3. 使用场景和适用范围

3.1 开发环境

• 快速部署 Flink 集群管理工具，简化开发阶段作业调试与资源配置验证

3.2 生产环境

• 7×24 小时监控 Flink 集群稳定性，实时响应异常作业
• 集中管理多租户 Flink 集群，提升运维效率

3.3 多集群管理

• 适配跨区域/跨环境（如混合云、多云）Flink 集群，统一监控视图

4. 使用方法和配置说明

4.1 前置条件

• 已部署 Apache Flink 集群（支持 Flink 1.13+ 版本），且 Flink REST API 可访问
• Docker 环境版本 ≥ 20.10，或 Docker Compose 版本 ≥ 2.10

4.2 Docker Run 部署示例

docker run -d \
  --name cmf-flink \
  -p 8080:8080 \  # 映射 CMF 服务端口
  -e FLINK_REST_URL=[***] \  # Flink JobManager REST API 地址
  -e FLINK_CLUSTER_NAME=prod-flink-cluster \  # 集群名称（自定义）
  -e LOG_LEVEL=INFO \  # 日志级别（DEBUG/INFO/WARN/ERROR）
  confluentinc/cmf-flink:latest

4.3 Docker Compose 配置示例

version: '3.8'
services:
  cmf-flink:
    image: confluentinc/cmf-flink:latest
    container_name: cmf-flink
    ports:
      - "8080:8080"  # CMF 管理界面端口
    environment:
      - FLINK_REST_URL=[***]  # 连接 Flink JobManager 的 REST API 地址
      - FLINK_CLUSTER_NAME=prod-flink-cluster
      - CMF_PORT=8080  # CMF 服务监听端口
      - LOG_LEVEL=INFO
      - METRICS_STORAGE_PATH=/data/metrics  # 指标数据存储路径（需挂载持久卷）
    volumes:
      - cmf-metrics:/data/metrics  # 持久化存储监控指标
    depends_on:
      - flink-jobmanager  # 依赖 Flink JobManager 服务

  flink-jobmanager:  # 示例 Flink JobManager 服务（实际环境需替换为现有集群地址）
    image: flink:1.17-scala_2.12
    container_name: flink-jobmanager
    ports:
      - "8081:8081"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager

volumes:
  cmf-metrics:

4.4 环境变量配置说明

5. 许可证信息

使用 Confluent Platform（包括本 CMF 镜像）受 Confluent 订阅协议约束，详情参见：[***] Confluent 签订书面协议，则以书面协议为准。