pebbletech/kafka

Apache Kafka Docker镜像

镜像概述

该镜像提供Apache Kafka的Docker化运行方案，旨在为生产环境提供易于操作的部署选项。它不捆绑ZooKeeper（开发时可通过Docker Compose集成），支持参数化配置、外部数据/日志卷挂载及JMX监控，便于集群搭建和运维。

核心功能

• 单服务设计：仅运行Kafka服务，需单独部署ZooKeeper或通过容器链接集成。
• 参数化配置：通过环境变量灵活调整集群参数，支持多容器实例组成Kafka集群。
• 持久化支持：数据（/data）和日志（/logs）可挂载到容器外部，确保数据持久化。
• 监控能力：暴露JMX端口（7203），支持监控Kafka和JVM运行指标。

使用场景

1. 生产集群部署：构建稳定、可扩展的Kafka消息集群。
2. 本地开发测试：快速搭建Kafka环境，方便开发生产者/消费者应用。
3. 集群功能验证：模拟多节点集群，测试分区、复制等核心功能。

快速使用示例

最小配置启动

bash
# 启动ZooKeeper容器
docker run -d --name zookeeper docker.xuanyuan.run/jplock/zookeeper:3.4.6
# 启动Kafka容器（链接到ZooKeeper）
docker run -d --name kafka --link zookeeper:zookeeper docker.xuanyuan.run/ches/kafka

# 获取容器IP
ZK_IP=$(docker inspect --format '{{ .NetworkSettings.IPAddress }}' zookeeper)
KAFKA_IP=$(docker inspect --format '{{ .NetworkSettings.IPAddress }}' kafka)

# 创建测试主题
docker run --rm docker.xuanyuan.run/ches/kafka \
  kafka-topics.sh --create --topic test --replication-factor 1 --partitions 1 --zookeeper $ZK_IP:2181

# 运行生产者（输入消息）
docker run --rm --interactive docker.xuanyuan.run/ches/kafka \
  kafka-console-producer.sh --topic test --broker-list $KAFKA_IP:9092

# 运行消费者（接收消息）
docker run --rm docker.xuanyuan.run/ches/kafka \
  kafka-console-consumer.sh --topic test --from-beginning --zookeeper $ZK_IP:2181

本地开发进阶配置

适用于Linux主机，将Kafka端口映射到本地：

bash
mkdir -p kafka-ex/{data,logs} && cd kafka-ex
# 启动ZooKeeper并映射端口
docker run -d --name zookeeper --publish 2181:2181 docker.xuanyuan.run/jplock/zookeeper:3.4.6
# 启动Kafka，挂载卷并配置本地访问
docker run -d \
  --hostname localhost \
  --name kafka \
  --volume ./data:/data --volume ./logs:/logs \
  --publish 9092:9092 --publish 7203:7203 \
  --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env ZOOKEEPER_IP=127.0.0.1 \
  docker.xuanyuan.run/ches/kafka

配置说明

通过环境变量可调整以下关键参数：

• KAFKA_BROKER_ID=0：集群中唯一的broker标识。
• KAFKA_PORT=9092：Kafka服务监听端口。
• KAFKA_ADVERTISED_HOST_NAME：生产者可见的broker主机名（默认容器IP）。
• ZOOKEEPER_IP：ZooKeeper地址（链接zookeeper容器时自动获取）。
• ZOOKEEPER_CONNECTION_STRING：ZooKeeper集群连接字符串（覆盖IP/端口配置）。
• JAVA_RMI_SERVER_HOSTNAME：JMX监控的RMI主机名（默认与广告主机名一致）。

JMX监控

镜像暴露7203端口用于JMX监控。若需从Docker外部访问（如本地VisualVM），需设置JAVA_RMI_SERVER_HOSTNAME为Docker主机IP：

bash
docker run -d --name kafka -p 7203:7203 \
  --link zookeeper:zookeeper \
  --env JAVA_RMI_SERVER_HOSTNAME=$(docker-machine ip) \
  ches/kafka

注意：默认JMX无认证和SSL，生产环境需通过防火墙限制访问范围。