spotify/kafkaproxy

spotify/kafkaproxy镜像描述

镜像概述

spotify/kafkaproxy镜像整合了Kafka、Zookeeper以及Kafka7到Kafka8的同步代理工具，旨在简化Docker环境下Kafka服务的部署与数据迁移工作。该镜像无需依赖外部Zookeeper服务，Kafka与Zookeeper已预配置为协同工作状态，开箱即可使用。

核心功能

1. 内置服务协同：同时运行Kafka和Zookeeper，两者配置联动，无需额外链接或依赖外部Zookeeper。
2. Kafka7数据同步：提供代理工具，支持从旧版Kafka7集群同步指定主题的数据到Docker化的Kafka8。
3. 灵活配置：通过环境变量可自定义服务暴露地址、端口、同步线程数、主题白名单等参数。

使用场景

1. 开发测试环境：快速搭建独立的Kafka消息队列环境，用于应用开发或功能测试。
2. 数据迁移：将旧版Kafka7集群的指定主题数据迁移至Docker化的Kafka8集群。
3. 轻量级部署：在资源有限的环境中部署一体化的Kafka服务，减少组件依赖。

配置说明

部署示例

基础Kafka服务部署

bash
docker run -p 2181:2181 -p 9092:9092 --env ADVERTISED_HOST=$(docker-machine docker.xuanyuan.run/ip $(docker-machine active)) --env ADVERTISED_PORT=9092 spotify/kafka

生产者示例

bash
export KAFKA=$(docker-machine ip $(docker-machine active)):9092
kafka-console-producer.sh --broker-list $KAFKA --topic test

消费者示例

bash
export ZOOKEEPER=$(docker-machine ip $(docker-machine active)):2181
kafka-console-consumer.sh --zookeeper $ZOOKEEPER --topic test

Kafka7同步代理部署

bash
docker run -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_HOST=$(boot2docker ip) \
    --env ADVERTISED_PORT=9092 \
    --env CONSUMER_THREADS=1 \
    --env TOPICS=my-topic,some-other-topic \
    --env ZK_CONNECT=kafka7zookeeper:2181/root/path \
    --env GROUP_ID=mymirror \
    spotify/kafkaproxy

构建与公共镜像

• 公共镜像地址：
  https://registry.hub.docker.com/u/spotify/kafka/
  https://registry.hub.docker.com/u/spotify/kafkaproxy/
• 从源码构建：

  bash
  docker build -t spotify/kafka kafka/
  docker build -t spotify/kafkaproxy kafkaproxy/