cilium/kafkaproxy

Kafka in Docker

镜像概述和主要用途

这是spotify/kafkaproxy的分支版本，带有稳定的1.0标签，源码来自https://github.com/spotify/docker-kafka%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E6%8F%90%E4%BE%9B%E5%9C%A8Docker%E4%B8%AD%E8%BF%90%E8%A1%8CKafka%E7%9A%84%E5%AE%8C%E6%95%B4%E6%96%B9%E6%A1%88%EF%BC%8C%E5%8C%85%E5%90%ABKafka%E5%92%8CZookeeper%E5%9C%A8%E5%90%8C%E4%B8%80%E5%AE%B9%E5%99%A8%E4%B8%AD%EF%BC%8C%E5%90%8C%E6%97%B6%E6%8F%90%E4%BE%9B%E4%B8%80%E4%B8%AA%E6%89%93%E5%8C%85%E7%9A%84%E4%BB%A3%E7%90%86%EF%BC%8C%E5%8F%AF%E7%94%A8%E4%BA%8E%E4%BB%8E%E6%97%A7%E7%89%88Kafka 7集群将数据镜像到Docker化的Kafka 8。

核心功能和特性

• 一体化部署：同一容器中运行Kafka和Zookeeper，无需依赖外部Zookeeper主机或链接其他容器
• 开箱即用：Zookeeper和Kafka已配置为协同工作，无需额外配置
• Kafka 7代理：包含可配置的代理，支持从Kafka 7集群镜像指定主题数据到Kafka 8

使用场景和适用范围

• 需要在Docker环境中快速部署Kafka的开发和测试环境
• 需从旧版Kafka 7集群迁移数据到Docker化Kafka 8的场景
• 简化Kafka部署架构，避免管理独立Zookeeper容器的场景

使用方法和配置说明

运行Kafka

bash
docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=`docker-machine docker.xuanyuan.run/ip \`docker-machine active\`` --env ADVERTISED_PORT=9092 spotify/kafka

环境变量说明

• ADVERTISED_HOST：Kafka通告的主机地址，供客户端连接使用
• ADVERTISED_PORT：Kafka通告的端口，默认为9092

生产者示例

bash
export KAFKA=`docker-machine ip \`docker-machine active\``:9092
kafka-console-producer.sh --broker-list $KAFKA --topic test

消费者示例

bash
export ZOOKEEPER=`docker-machine ip \`docker-machine active\``:2181
kafka-console-consumer.sh --zookeeper $ZOOKEEPER --topic test

运行代理

代理镜像继承spotify/kafka的参数，并添加以下新参数：

新增环境变量

• CONSUMER_THREADS：从Kafka 7消费数据的线程数
• TOPICS：要镜像的主题白名单，多个主题用逗号分隔
• ZK_CONNECT：源Kafka 7集群的Zookeeper连接字符串
• GROUP_ID：消费Kafka 7时使用的group.id

运行命令示例

bash
docker run -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_HOST=`boot2docker ip` \
    --env ADVERTISED_PORT=9092 \
    --env CONSUMER_THREADS=1 \
    --env TOPICS=my-topic,some-other-topic \
    --env ZK_CONNECT=kafka7zookeeper:2181/root/path \
    --env GROUP_ID=mymirror \
    spotify/kafkaproxy

包含的镜像

• spotify/kafka：包含Kafka和Zookeeper的Docker镜像，从kafka目录构建
• spotify/kafkaproxy：包含Kafka、Zookeeper和Kafka 7代理的Docker镜像，可配置要镜像的主题

公共构建

• https://registry.hub.docker.com/u/spotify/kafka/
• https://registry.hub.docker.com/u/spotify/kafkaproxy/

从源码构建

bash
docker build -t spotify/kafka kafka/
docker build -t spotify/kafkaproxy kafkaproxy/

待办事项

• 启动时间未特别优化
• 需要更完善的文档