devshawn/kafka-gitops

kafka-gitops

通过声明式状态文件管理Apache Kafka主题和ACL，实现资源即代码的自动化管理。详细文档见：https://devshawn.github.io/kafka-gitops/

镜像概述

kafka-gitops是一款Apache Kafka资源即代码工具，允许你从版本控制代码中自动化管理Kafka主题和ACL。它通过声明式状态文件定义主题和服务，对比集群实际状态与期望状态，生成并执行变更计划，使Kafka资源与期望状态保持一致。同时，它能自动为不同类型应用生成所需ACL，无需手动配置，支持自托管Kafka、托管Kafka及Confluent Cloud集群。

核心功能

• 🚀 CI/CD集成: 专为CI/CD流水线设计，自动化管理主题和ACL。
• 🔥 配置即代码: 通过版本控制的声明式文件描述期望状态。
• 👍 易用性: 无需深入了解Kafka管理或ACL知识即可使用。
• ⚡️ 计划与应用: 生成变更计划，可选择执行或仅查看。
• 💻 可移植性: 支持自托管、托管集群及Confluent Cloud。
• 🦄 幂等性: 对已同步的集群执行相同状态文件，结果一致。
• ☀️ 故障恢复: 部分步骤失败后，修复状态文件可重新执行，无需回滚。

使用场景

1. CI/CD流水线集成: 将Kafka资源变更纳入自动化流程，确保环境一致性。
2. 多环境配置同步: 统一管理开发、测试、生产环境的Kafka主题和ACL。
3. 集群初始化: 快速初始化新Kafka集群的主题和ACL设置。
4. 团队协作: 通过版本控制追踪Kafka资源变更，提升协作效率。

配置说明

通过环境变量配置Kafka连接属性，变量名以KAFKA_为前缀：

• KAFKA_BOOTSTRAP_SERVERS: Kafka集群地址（对应bootstrap.servers）
• KAFKA_CLIENT_ID: 客户端ID（对应client.id）
• KAFKA_SASL_JAAS_USERNAME: SASL认证用户名
• KAFKA_SASL_JAAS_PASSWORD: SASL认证密码（自动生成org.apache.kafka.common.security.plain.PlainLoginModule配置）

状态文件示例

默认读取当前目录下的state.yaml，可通过-f参数指定文件路径：

yaml
topics:
  example-topic:
    partitions: 6
    replication: 3
    configs:
      cleanup.policy: compact

services:
  example-service:
    type: application
    produces:
      - example-topic
    consumes:
      - example-topic

Docker部署示例

单容器运行

bash
# 挂载状态文件并指定Kafka地址
docker run -v $(pwd)/state.yaml:/app/state.yaml \
  -e KAFKA_BOOTSTRAP_SERVERS=your-kafka-server:9092 \
 devshawn/kafka-gitops apply

Docker Compose示例

yaml
version: '3'
services:
  kafka-gitops:
    image: devshawn/kafka-gitops
    volumes:
      - ./state.yaml:/app/state.yaml
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_SASL_JAAS_USERNAME=your-username
      - KAFKA_SASL_JAAS_PASSWORD=your-password
    command: apply

许可证

本项目基于Apache 2.0许可证开源，详见https://github.com/devshawn/kafka-gitops/blob/main/LICENSE%E3%80%82