polinux/kafka

Kafka Docker镜像

镜像概述

本镜像提供了一个可扩展的Kafka部署方案，是https://hub.docker.com/r/wurstmeister/kafka/%E7%9A%84%E5%A2%9E%E5%BC%BA%E7%89%88%E3%80%82%E9%80%9A%E8%BF%87%E9%9B%86%E6%88%90HAproxy%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E5%99%A8%EF%BC%8C%E6%94%AF%E6%8C%81%E5%A4%9AKafka%E5%89%AF%E6%9C%AC%E7%9A%84%E5%BC%B9%E6%80%A7%E6%89%A9%E5%B1%95%EF%BC%8C%E5%B9%B6%E5%86%85%E7%BD%AEKafka Manager用于集群管理（可通过[主机IP]:9000访问）。镜像可直接从https://hub.docker.com/r/polinux/kafka/%E8%8E%B7%E5%8F%96%E3%80%82

核心功能和特性

• 可扩展部署：支持多Kafka副本动态扩展，通过HAproxy实现负载均衡
• 集群管理：内置Kafka Manager，提供可视化集群监控界面
• 自动配置：支持自动生成broker ID，简化集群扩展
• 灵活定制：通过环境变量自定义Kafka参数（如消息大小限制、自动主题创建等）
• 便捷部署：提供脚本和docker-compose配置，简化集群启动、扩展和销毁流程
• 监控支持：支持JMX配置，便于性能监控

使用场景

适用于需要部署可扩展、高可用Kafka集群的开发、测试或生产环境，尤其适合需要动态调整集群规模、简化管理的场景。

前置要求

1. 已安装docker-compose
2. 通过set-address脚本设置主机IP（不可使用localhost或127.0.0.1，否则无法运行多broker）：

   bash
   ./set-address --address 192.168.1.200
   

3. 如需自定义Kafka参数，可在docker-compose.yml中添加环境变量（例如：KAFKA_MESSAGE_MAX_BYTES: 2000000设置消息最大字节数，KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'false'关闭自动主题创建）

使用方法

基于脚本部署

start-kafka-cluster脚本支持以下参数：

• --replicas (-r)：指定启动的Kafka副本数量
• --test (-t)：运行生产者/消费者测试（需下载polinux/php:7.1镜像，耗时较长）

示例1：简单启动单节点集群

bash
./start-kafka-cluster

示例2：启动4个副本并运行测试

bash
./start-kafka-cluster --replicas 4 --test

示例3：扩展现有集群至5个副本

bash
docker-compose scale kafka=5

基于docker-compose部署

bash
docker-compose up -d

销毁集群

基于脚本

bash
./destroy-kafka-cluster

基于docker-compose

bash
docker-compose stop
docker-compose rm -f

关键配置说明

Broker ID自动生成

未在docker-compose.yml中指定broker ID时，将自动生成（参考KAFKA-1070），支持集群弹性伸缩。建议使用docker-compose --no-recreate确保容器不被重建，保持名称和ID稳定。

自动创建主题

通过KAFKA_CREATE_TOPICS环境变量在集群启动时自动创建主题，格式："主题名:分区数:副本数[:cleanup.policy]"。示例：

yaml
environment:
  KAFKA_CREATE_TOPICS: "Topic1:1:3,Topic2:1:1:compact"

• Topic1：1个分区，3个副本
• Topic2：1个分区，1个副本，清理策略为compact

广告主机名配置

可通过以下方式配置Kafka advertised hostname：

1. 显式设置：KAFKA_ADVERTISED_HOST_NAME: "主机IP"
2. 命令动态获取：HOSTNAME_COMMAND: "命令"（例如AWS环境获取本地IP：wget -t3 -T2 -qO- http://169.254.169.254/latest/meta-data/local-ipv4）

KAFKA_ADVERTISED_HOST_NAME优先级高于HOSTNAME_COMMAND。

JMX监控配置

通过KAFKA_JMX_OPTS和JMX_PORT配置JMX监控，示例：

yaml
environment:
  KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=192.168.0.50 -Dcom.sun.management.jmxremote.rmi.port=1099 -Djava.net.preferIPv4Stack=true"
  JMX_PORT: 1099

通过Jconsole连接：jconsole 192.168.0.50:1099

演示示例

提供集群启动、Kafka Manager监控、副本扩展及集群销毁的演示（原始GIF演示包含启动、管理界面、扩展和销毁过程）。