michaeldqin/kafka

Kafka 1.0.0（含Zookeeper）Docker镜像

镜像概述和主要用途

本镜像为捆绑了Zookeeper的Apache Kafka 1.0.0 Docker镜像，旨在满足开发需求。因当时现有Kafka镜像（如spotify/kafka）版本过旧（0.10.1.0），无法满足使用最新Kafka 1.0.0的需求，故创建此镜像。适用于本地开发和容器化应用测试，支持主机客户端或其他容器连接Kafka服务。

核心功能和特性

• 基于Kafka 1.0.0版本，Scala 2.12版本构建
• 内置Zookeeper，无需额外部署Zookeeper服务
• 支持两种连接模式：本地主机模式（localhost）和容器间模式（容器名）
• 可通过环境变量灵活配置Kafka broker参数
• 包含Kafka控制台生产者和消费者工具

使用场景和适用范围

• 本地开发环境中快速部署Kafka服务
• 容器化应用测试，验证Kafka消息生产与消费功能
• 需要在同一容器中运行Kafka和Zookeeper的场景
• 开发人员学习和调试Kafka相关功能

参考环境

以下为创建者的环境配置，供参考，不同环境可调整设置：

• Windows中的Virtual Box（5.1.26）
• Virtual Box中的Ubuntu（16.04 LTS）
• Ubuntu中安装的Docker（17.12.0-ce，build c97c6d6）

拉取镜像

可从Docker Hub拉取该镜像：

sh
docker pull michaeldqin/kafka 

https://hub.docker.com/r/michaeldqin/kafka/

使用方法

1. Kafka服务监听'localhost:9092'（本地主机模式）

若需允许主机客户端或远程客户端连接Kafka服务，需将ADVERTISED_LISTENERS环境变量设置为'localhost'，以"localhost"模式运行Kafka服务：

sh
docker run --rm -d -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
    --name kafka -h kafka michaeldqin/kafka

• 在主机或远程启动生产者：

sh
$KAFKA_HOME/bin/kafka-console-producer.sh \
    --broker-list localhost:9092 --topic test

• 在主机或远程启动消费者：

sh
$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
    --topic test --from-beginning

2. Kafka服务监听'kafka:9092'（容器间模式）

若需允许其他容器连接/链接到Kafka服务，需以"容器"模式运行Kafka服务，将ADVERTISED_LISTENERS环境变量设置为'kafka'：

sh
docker run --rm -d -p 2181:2181 -p 9092:9092 \
    --env ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 \
    --name kafka -h kafka michaeldqin/kafka

• 从另一个容器启动生产者连接Kafka服务：

sh
docker run --rm -it --name producer --link kafka michaeldqin/kafka \
    kafka-console-producer.sh --broker-list kafka:9092 --topic test

• 从第三个容器启动消费者连接Kafka服务：

sh
docker run --rm -it --name consumer --link kafka michaeldqin/kafka \
    kafka-console-consumer.sh --bootstrap-server kafka:9092 \
    --topic test --from-beginning

Kafka Broker配置

启动时可通过以下可选环境变量配置Kafka容器，格式为：--env ENV_VARIABLE_NAME=[value]

broker配置参数

sh
# 默认值：advertised.listeners=null
#ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092

# 默认值：auto.create.topics.enable=true
#AUTO_CREATE_TOPICS_ENABLE=true

# 默认值：auto.leader.rebalance.enable=true
#AUTO_LEADER_REBALANCE_ENABLE=true

# 默认值：delete.topic.enable=true
#DELETE_TOPIC_ENABLE=true

# 默认值：broker.id=0
#BROKER_ID=100

# 默认值：log.dirs=/tmp/kafka-logs
#LOG_DIRS=/tmp/kafka-logs

# 默认值：num.partitions=1
#NUM_PARTITONS=1

# 默认值：log.retention.hours=168
#LOG_RETENTION_HOURS=168

# 默认值：log.retention.bytes=-1
#LOG_RETENTION_BYTES=1073741824

# 默认值：socket.send.buffer.bytes=102400
#SOCKET_SEND_BUFFER_BYTES=204800

# 默认值：socket.receive.buffer.bytes=102400
#SOCKET_RECEIVE_BUFFER_BYTES=204800

# 默认值：zookeeper.connect=localhost:2181
#ZOOKEEPER_CONNECT=localhost:2181

# 默认值：zookeeper.connection.timeout.ms=6000
#ZOOKEEPER_CONNECTION_TIMEOUT_MS=12000

日志

容器启动日志位于容器内的 $KAFKA_HOME/log/start-kafka.log。