bitnamicharts/flink

Bitnami Apache Flink Helm Chart 文档

镜像概述和主要用途

Apache Flink 是一个用于无界和有界数据流上有状态计算的框架和分布式处理引擎。Bitnami Helm Chart 为 Apache Flink 提供了在 Kubernetes 集群上的便捷部署方案，简化了配置、扩展和管理流程，适用于开发和生产环境中的流处理应用部署。

核心功能和特性

Apache Flink 核心功能

• 批流统一处理：同时支持无界流（实时）和有界流（批处理）数据处理
• 状态管理：内置高效的状态后端，支持 Exactly-Once 语义
• 高可用性：通过分布式协调服务（如 ZooKeeper）实现故障恢复
• 低延迟与高吞吐量：优化的执行引擎，平衡延迟和吞吐量需求
• 丰富的 API：提供 DataStream API（流处理）、DataSet API（批处理）及 SQL/Table API

Bitnami Helm Chart 特性

• 灵活配置：支持资源请求/限制、环境变量、存储类等自定义
• 安全强化：遵循容器安全最佳实践，支持安全上下文适配（如 OpenShift 兼容性）
• 可观测性：集成 Prometheus 指标导出（需启用 metrics）
• 持久化存储：通过 Persistent Volume Claims (PVC) 实现数据持久化
• 高可用性部署：支持 JobManager 副本配置及 TaskManager 自动扩展

使用场景和适用范围

• 实时数据处理：日志实时分析、监控告警、实时仪表盘
• 流批一体 ETL：数据清洗、转换、聚合，同时处理实时和历史数据
• 事件驱动应用：实时推荐、欺诈检测、物联网数据处理
• 大数据分析平台：作为流处理层集成到 Hadoop/Spark 生态系统
• 开发与测试：通过 Helm Chart 快速搭建 Flink 集群，验证流处理作业

前提条件

• Kubernetes 集群版本 1.23+
• Helm 版本 3.8.0+
• 集群支持 PV 供应（Persistent Volume Provisioner）
• 支持 ReadWriteMany 访问模式的存储卷（用于集群扩展）

安装方法

快速部署（TL;DR）

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/flink

详细安装步骤

1. 添加 Bitnami Helm 仓库（若未添加）：

   console
   helm repo add bitnami https://charts.bitnami.com/bitnami
   helm repo update
   

2. 安装 Chart：

   console
   helm install my-release oci://REGISTRY_NAME/REPOSITORY_NAME/flink
   

   说明：需替换 REGISTRY_NAME 和 REPOSITORY_NAME 为实际仓库地址。Bitnami 官方仓库示例：REGISTRY_NAME=registry-1.docker.io，REPOSITORY_NAME=bitnamicharts。

3. 验证部署：

   console
   helm list  # 查看已部署的 release
   kubectl get pods  # 确认 JobManager 和 TaskManager  pods 运行正常
   

配置与部署细节

资源请求与限制

通过 resources 参数配置容器资源，生产环境建议显式设置请求（requests）和限制（limits）：

yaml
jobmanager:
  resources:
    requests:
      cpu: 500m
      memory: 1Gi
    limits:
      cpu: 1000m
      memory: 2Gi
taskmanager:
  resources:
    requests:
      cpu: 1000m
      memory: 2Gi
    limits:
      cpu: 2000m
      memory: 4Gi

提示：可使用 resourcesPreset 参数快速应用预设资源配置（如 small、medium），但生产环境建议手动调整以适配实际 workload。

滚动标签与不可变标签

• 滚动标签（如 latest）：自动更新至最新版本，适用于开发环境。
• 不可变标签（如 1.17.0-debian-11-r10）：版本固定，避免意外更新，强烈建议生产环境使用。

Bitnami 会通过更新 Chart 版本同步容器镜像，确保包含安全补丁和功能更新。

备份与恢复

使用 Velero 工具备份和恢复 Flink 部署：

1. 安装 Velero 并配置存储后端（如 S3、NFS）。
2. 备份集群资源和 PV：

   console
   velero backup create flink-backup --include-namespaces <namespace>
   

3. 恢复时：

   console
   velero restore create --from-backup flink-backup
   

详细步骤参考 Bitnami 备份恢复指南。

额外环境变量

通过以下方式为 JobManager/TaskManager 添加环境变量：

直接定义

yaml
jobmanager:
  extraEnvVars:
    - name: FLINK_LOG_LEVEL
      value: INFO
taskmanager:
  extraEnvVars:
    - name: FLINK_TASK_SLOTS
      value: "4"

通过 ConfigMap/Secret 挂载

yaml
jobmanager:
  extraEnvVarsCM: existing-configmap-name  # 现有 ConfigMap 名称
  extraEnvVarsSecret: existing-secret-name  # 现有 Secret 名称

边车容器（Sidecars）

在 Flink pod 中添加额外容器（如日志收集器、监控代理）：

yaml
jobmanager:
  sidecars:
    - name: log-exporter
      image: busybox:latest
      command: ["sh", "-c", "tail -f /opt/bitnami/flink/log/*.log"]
      volumeMounts:
        - name: flink-logs
          mountPath: /opt/bitnami/flink/log

若边车容器需要暴露端口，通过 service.extraPorts 配置：

yaml
service:
  extraPorts:
    - name: metrics
      port: 9090
      targetPort: 9090

Pod 亲和性配置

通过 affinity 参数自定义 Pod 亲和性，或使用预设策略：

yaml
taskmanager:
  podAntiAffinityPreset: soft  # 软反亲和性，避免 TaskManager 调度到同一节点
  nodeAffinityPreset:
    type: required
    key: workload
    values: ["flink-task"]  # 仅调度到带有 workload=flink-task 标签的节点

预设策略参考 https://github.com/bitnami/charts/tree/main/bitnami/common#affinities%E3%80%82

持久化存储

Flink 作业元数据和检查点（checkpoints）通过 PVC 持久化。默认配置使用集群默认 StorageClass，可通过以下参数自定义：

yaml
jobmanager:
  persistence:
    enabled: true
    storageClass: "fast-storage"  # 指定 StorageClass
    size: 10Gi  # PV 大小

配置参数

全局参数

通用参数

Apache Flink 参数

JobManager 部署参数

注意：完整参数列表请参考 https://github.com/bitnami/charts/blob/main/bitnami/flink/README.md%E3%80%82

⚠️ 重要通知：Bitnami 镜像目录即将变更

自 2025 年 8 月 28 日起，Bitnami 将升级公共镜像目录，推出 Bitnami Secure Images 计划，主要变更包括：

核心调整

• 安全镜像开放：首次向社区用户提供安全优化版容器镜像。
• 非强化镜像 deprecation：免费 tier 将逐步停止支持非强化 Debian 基础镜像，仅保留少量 "latest" 标签镜像（用于开发）。
• 镜像迁移：所有现有镜像（含历史版本标签，如 2.50.0、10.6）将在两周内迁移至 docker.io/bitnamilegacy 仓库，且不再更新。

建议操作

• 开发环境：可继续使用公共仓库的 "latest" 标签镜像（仅用于开发）。
• 生产环境：迁移至 Bitnami Secure Images，获取强化容器、CVE 透明度（VEX/KEV）、SBOM 及企业支持。

详细信息参考 https://github.com/bitnami/containers/issues/83267%E3%80%82