purbon/kafka-topology-builder

Kafka Topology Builder 工具

GitHub 仓库：https://github.com/purbon/kafka-topology-builder

https://codeclimate.com/github/purbon/kafka-topology-builder/maintainability

https://travis-ci.org/purbon/kafka-topology-builder.svg?branch=master](https://travis-ci.org/purbon/kafka-topology-builder)

镜像概述和主要用途

Kafka Topology Builder 工具旨在帮助构建 Apache Kafka 的适当访问控制列表（ACL），并管理 Kafka 主题、配置及所需权限。该工具能够根据不同产品/项目（如 Kafka Connect、Kafka Streams 等）的需求，自动设置相应的权限。通过与 Git 和 Jenkins（CI/CD）紧密协作，它提供了一种有组织的、自动化的 Kafka 集群管理方式。

核心功能和特性

主要功能

• 支持多种访问控制机制：

  • 传统 ACL
  • Confluent 提供的基于角色的访问控制（RBAC）

• 自动设置访问控制规则：

  • Kafka 消费者
  • Kafka 生产者
  • Kafka Connect
  • Kafka Streams 应用（微服务）
  • Schema Registry 实例

• 主题命名规范管理：

  • 包含项目、团队、数据类型及主题名称的定义
  • 部分主题可根据用户需求灵活定义

• 支持创建、删除和更新：

  • 遵循主题命名规范的主题
  • 主题配置（如保留时间、段大小等变量）
  • ACL 或 RBAC 规则

使用场景和适用范围

适用于需要对 Apache Kafka 集群进行规范化、自动化管理的场景，尤其是在多团队协作、需要严格权限控制和审计跟踪的企业环境中。通过 GitOps 和 CI/CD 流程，开发团队可以提交主题和权限变更请求，运维管理员进行审核和合并，实现 Kafka 资源的安全、有序管理。

详细的使用方法和配置说明

工具可用格式

该工具提供多种使用格式：

• RPM 包
• 胖 jar 包（zip/tar.gz）
• Docker 镜像（可从 https://hub.docker.com/r/purbon/kafka-topology-builder 获取）

最新版本可从 https://github.com/purbon/kafka-topology-builder/releases 获取。

工具执行方法

Docker 镜像执行

通过以下命令运行 Docker 镜像：

bash
docker run docker.xuanyuan.run/purbon/kafka-topology-builder:latest kafka-topology-builder.sh --help

执行后输出帮助信息（示例）：

Parsing failed cause of Missing required options: topology, brokers, clientConfig
usage: cli
    --allowDelete          允许对主题和配置执行删除操作。
    --brokers <arg>        要连接的 Apache Kafka 服务器。
    --clientConfig <arg>   AdminClient 配置文件。
    --help                 打印使用信息。
    --quite                打印最小状态更新。
    --topology <arg>       拓扑配置文件。

RPM 包安装

若通过 RPM 包安装，kafka-topology-builder.sh 脚本将添加到环境变量 $PATH 中，可直接使用上述相同选项执行该脚本。

拓扑配置文件示例

拓扑配置文件采用 YAML 格式，示例如下：

yaml
team: "team"
source: "source"
projects:
- name: "foo"
  zookeepers: []
  consumers:
  - principal: "User:app0"
  - principal: "User:app1"
  producers: []
  streams:
  - principal: "User:App0"
    topics:
      read:
      - "topicA"
      - "topicB"
      write:
      - "topicC"
      - "topicD"
  connectors:
  - principal: "User:Connect1"
    topics:
      read:
      - "topicA"
      - "topicB"
  - principal: "User:Connect2"
    topics:
      write:
      - "topicC"
      - "topicD"
  topics:
  - name: "foo" # 主题名称：team.source.foo.foo
    config:
      replication.factor: "2"
      num.partitions: "3"
  - name: "bar" # 主题名称：team.source.foo.bar
    config:
      replication.factor: "2"
      num.partitions: "3"
- name: "bar"
  zookeepers: []
  consumers: []
  producers: []
  streams: []
  connectors: []
  topics:
  - name: "bar" # 主题名称：team.source.bar.bar
    config:
      replication.factor: "2"
      num.partitions: "3"

更多示例可在 https://github.com/purbon/kafka-topology-builder/tree/master/example 目录中找到。

GitOps 与 CI/CD 工作流程

用户操作流程

操作：作为开发团队成员，需要对 Apache Kafka 进行变更。

变更请求：

1. 访问描述拓扑的 Git 仓库
2. 创建新分支
3. 执行所需变更
4. 创建针对主分支的拉取请求（Pull Request）

审核流程

作为运维管理员：

1. 审核团队发起的拉取请求（变更请求）
2. 必要时请求修改
3. 合并请求

注意事项

• 通过 Webhook，Git 服务器（GitHub、GitLab 或 Bitbucket）会通知 CI/CD 系统发生变更并需要应用到集群。
• 直接向主分支推送更改（git push）已被禁用，所有变更仅能通过拉取请求进行。