krisgeus/docker-kafka

Docker Kafka + Zookeeper 镜像

镜像概述

本镜像整合了Kafka与Zookeeper服务，支持在启动时创建指定主题，并可通过环境变量灵活配置Kafka的网络监听、安全协议、日志策略等核心参数，帮助用户快速部署消息队列服务。

核心功能

• 集成Kafka与Zookeeper，无需单独部署依赖组件
• 启动时自动创建指定主题（支持分区、副本数及清理策略配置）
• 通过环境变量自定义Kafka监听地址、安全协议（SSL/SASL）
• 可配置日志保留时间、默认分区数等关键参数
• 提供SSL证书配置及Kerberos认证支持

使用场景

• 开发环境快速搭建Kafka消息队列
• 测试场景验证消息生产/消费流程
• 需要SSL或Kerberos安全机制的消息服务部署

配置说明

通过以下环境变量配置Kafka：

运行示例

启动镜像并创建两个主题，配置内部/外部监听：

bash
docker run --rm -p 2181:2181 -p 443:9092 -p 9092:9092 -p 9093:9093 \
  --env ADVERTISED_LISTENERS=PLAINTEXT://kafka:443,INTERNAL://localhost:9093 \
  --env LISTENERS=PLAINTEXT://0.0.0.0:9092,INTERNAL://0.0.0.0:9093 \
  --env SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,INTERNAL:PLAINTEXT \
  --env INTER_BROKER=INTERNAL \
  --env KAFKA_CREATE_TOPICS="test:36:1,krisgeus:12:1:compact" \
  --name kafka \
  krisgeus/docker-kafka

测试方法

1. 添加host映射：127.0.0.1 kafka到/etc/hosts
2. 启动生产者：

bash
kafka-console-producer --broker-list kafka:9092 --topic test

输入消息（如message1）后发送 3. 启动消费者：

bash
kafka-console-consumer --bootstrap-server kafka:9092 --topic test --from-beginning

（紧凑主题需指定parse.key和key.separator参数）

SSL配置示例

1. 生成私钥：

bash
openssl genrsa -des3 -passout pass:apachepass -out pass.key 2048
openssl rsa -passin pass:apachepass -in pass.key -out ssl.key

2. 生成证书：

bash
openssl req -new -key ssl.key -out fqdn.csr -subj "/C=/ST=/L=/O=/CN=domain"
openssl x509 -req -days 365 -in fqdn.csr -signkey ssl.key -out selfsign.crt

3. 启动时传入证书：

bash
--env SSL_CERT="`cat selfsign.crt`" --env SSL_KEY="`cat ssl.key`"

Kerberos消费示例

TicketCache方式

1. 获取票据：kinit kafka/$(hostname -f) -kt /kafka.keytab
2. 创建JAAS配置：

KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useTicketCache=true serviceName="kafka" useKeyTab=false;
};

3. 启动消费者：

bash
export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka-client.jaas -Djava.security.krb5.conf=/etc/krb5.conf"
${KAFKA_HOME}/kafka-console-consumer.sh --bootstrap-server $(hostname):9092 --topic divolte --from-beginning --consumer-property security.protocol=SASL_PLAINTEXT

Keytab方式

1. 创建JAAS配置：

KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true storeKey=true keyTab="/kafka.keytab" principal="kafka/divolte-kafka.divolte_divolte.io";
};

2. 启动消费者：

bash
export KAFKA_OPTS="-Djava.security.auth.login.config=/kafka-client-keytab.jaas -Djava.security.krb5.conf=/etc/krb5.conf"
${KAFKA_HOME}/kafka-console-consumer.sh --bootstrap-server $(hostname):9092 --topic divolte --from-beginning --consumer-property security.protocol=SASL_PLAINTEXT