ambuds/mirror-maker

docker-kafka-mirror-maker

镜像概述

基于HDP 2.5.3的Kafka Mirror Maker Docker镜像，可在Kubernetes/Openshift或AWS ECS等Docker化环境中配置和部署Kafka Mirror-Maker，用于跨Kafka集群的主题数据镜像同步。

核心功能

1. 支持配置源与目标Kafka集群的bootstrap.servers
2. 通过白名单指定需镜像的主题
3. 提供PLAINTEXT和SASL_PLAINTEXT（Kerberos）两种安全认证方式
4. 支持灵活的环境变量配置，适配不同部署场景

使用场景

• Docker化环境下Kafka集群间的主题数据复制
• 多集群架构中的Kafka数据同步需求
• Kubernetes/Openshift容器化环境的Kafka镜像制作部署

配置说明

环境变量

卷挂载（Kerberos场景）

• Keytab文件：挂载到 /etc/security/keytabs 目录
• krb5.conf文件：挂载到 /etc/krb5.conf 路径

部署示例

非Kerberos环境

bash
docker run -it -e DESTINATION=xxx.xxx.com:9092 -e SOURCE=xxx.xxx.com:9092 -e WHITELIST=<TOPIC NAME> mirror-maker:latest

Kerberos环境

bash
docker run -it -e DESTINATION=xxx.xxx.com:6667 -e SECURITY=SASL_PLAINTEXT -e SOURCE=xxx.xxx.com:6667 -e WHITELIST=<TOPIC NAME> -e KEYTAB_FILENAME=kafka.service.keytab -e PRINCIPAL=kafka/xxx.xxx.com@EXAMPLE.COM -v /etc/security/keytabs/:/etc/security/keytabs/ -v /etc/krb5.conf:/etc/krb5.conf mirror-maker:latest

注意：配置SASL_PLAINTEXT时，镜像会自动应用Kerberos运行时配置。

Kubernetes部署

yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: mirror-maker
spec:
  replicas: 3
  template:
    metadata:
      labels:
        name: mirror-maker
    spec:
      containers:
      - name: mirror-maker
        image: ambuds/mirror-maker
        imagePullPolicy: Always
        env:
        - name: "WHITELIST"
          value: "*"
        - name: "DESTINATION"
          value: "localhost:9092"
        - name: "SOURCE"
          value: "localhost:9092"

许可证

Apache 2.0