spotify/kafka

Kafka in Docker

镜像概述和主要用途

本镜像提供在Docker中运行Kafka所需的一切。它将Kafka和Zookeeper集成在同一容器中，无需外部Zookeeper依赖或链接其他容器，开箱即可使用。此外，还包含一个打包的代理，可用于将数据从旧版Kafka 7集群迁移到容器化的Kafka 8。

核心功能和特性

• 一体化部署：同一容器中运行Kafka和Zookeeper，无需外部依赖
• 开箱即用：Kafka和Zookeeper已预先配置为协同工作
• 代理功能：包含Kafka 7到Kafka 8的数据迁移代理
• 简化配置：通过环境变量轻松配置关键参数

使用场景和适用范围

• 本地开发和测试环境中的Kafka快速部署
• 需要简化Kafka与Zookeeper集成的场景
• 从旧版Kafka 7集群迁移数据到新版本Kafka 8
• 快速搭建独立的Kafka测试环境

使用方法和配置说明

基本运行

bash
docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=`docker-machine ip \`docker-machine active\`` --env ADVERTISED_PORT=9092 spotify/kafka

环境变量说明：

• ADVERTISED_HOST：Kafka广告的主机地址
• ADVERTISED_PORT：Kafka广告的端口号，默认为9092

测试生产者：

bash
export KAFKA=`docker-machine ip \`docker-machine active\``:9092
kafka-console-producer.sh --broker-list $KAFKA --topic test

测试消费者：

bash
export ZOOKEEPER=`docker-machine ip \`docker-machine active\``:2181
kafka-console-consumer.sh --zookeeper $ZOOKEEPER --topic test

运行代理

代理镜像除了基本参数外，还支持以下新参数：

• CONSUMER_THREADS：从Kafka 7消费数据的线程数
• TOPICS：要镜像的主题白名单，多个主题用逗号分隔
• ZK_CONNECT：源Kafka 7的Zookeeper连接字符串
• GROUP_ID：从Kafka 7消费时使用的group.id

bash
docker run -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_HOST=`boot2docker ip` \
    --env ADVERTISED_PORT=9092 \
    --env CONSUMER_THREADS=1 \
    --env TOPICS=my-topic,some-other-topic \
    --env ZK_CONNECT=kafka7zookeeper:2181/root/path \
    --env GROUP_ID=mymirror \
    spotify/kafkaproxy

在镜像中

• spotify/kafka：包含Kafka和Zookeeper的Docker镜像，从kafka目录构建
• spotify/kafkaproxy：包含Kafka、Zookeeper和Kafka 7代理的Docker镜像，可配置要镜像的主题

公共构建

• https://registry.hub.docker.com/u/spotify/kafka/
• https://registry.hub.docker.com/u/spotify/kafkaproxy/

从源码构建

bash
docker build -t spotify/kafka kafka/
docker build -t spotify/kafkaproxy kafkaproxy/

待办事项

• 启动时间未特别优化
• 需要更完善的文档