nosinovacao/kafka

wurstmeister/kafka Docker镜像文档

镜像概述

该镜像为Apache Kafka提供Docker化部署方案，可直接从https://hub.docker.com/r/wurstmeister/kafka/%E8%8E%B7%E5%8F%96%E3%80%82%E6%94%AF%E6%8C%81%E5%8D%95%E8%8A%82%E7%82%B9%E5%92%8C%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2%EF%BC%8C%E6%8F%90%E4%BE%9B%E7%81%B5%E6%B4%BB%E7%9A%84%E9%85%8D%E7%BD%AE%E9%80%89%E9%A1%B9%EF%BC%8C%E6%BB%A1%E8%B6%B3%E4%B8%8D%E5%90%8C%E5%9C%BA%E6%99%AF%E4%B8%8B%E7%9A%84Kafka%E4%BD%BF%E7%94%A8%E9%9C%80%E6%B1%82%E3%80%82

重要公告

• 2018年4月3日 - 不兼容更新 - 移除KAFKA_ADVERTISED_PROTOCOL_NAME和KAFKA_PROTOCOL_NAME，请更新为Kafka标准配置。
• 2018年4月3日 - 不兼容更新 - KAFKA_ZOOKEEPER_CONNECT现为必填环境变量。

核心功能与特性

• 支持Kafka集群部署，可动态扩展broker数量
• 自动生成或手动配置broker ID
• 支持自动创建Kafka主题，可指定分区数、副本数及清理策略
• 灵活的监听器配置，支持多协议和内外网流量隔离
• 支持通过命令动态获取主机名、端口和机架信息
• 可自定义Kafka参数和log4j日志配置
• 支持JMX监控
• 兼容Docker Swarm模式部署

前置条件

1. 安装docker-compose：[***]
2. 修改docker-compose.yml中的KAFKA_ADVERTISED_HOST_NAME，使其匹配Docker主机IP（注意：若需运行多个broker，请勿使用localhost或127.0.0.1）
3. 如需自定义Kafka参数，可在docker-compose.yml中添加环境变量，例如：
   • 增加消息最大字节数：KAFKA_MESSAGE_MAX_BYTES: 2000000
   • 关闭自动主题创建：KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'false'
4. 可通过前缀为LOG4J_的环境变量自定义log4j配置，例如：LOG4J_LOGGER_KAFKA_AUTHORIZER_LOGGER=DEBUG, authorizerAppender

注意：网络配置存在一些注意事项，如需了解详细要求，请参考https://github.com/wurstmeister/kafka-docker/wiki/Connectivity%E3%80%82

使用方法

启动集群

bash
docker-compose up -d

扩展broker数量

bash
docker-compose scale kafka=3

停止集群

bash
docker-compose stop

单节点部署

默认docker-compose.yml为集群配置，如需固定端口和broker ID，可使用单节点配置文件：

bash
docker-compose -f docker-compose-single-broker.yml up

配置说明

Broker ID配置

可通过以下方式配置broker ID：

1. 显式指定：KAFKA_BROKER_ID: 1
2. 命令生成：BROKER_ID_COMMAND: "hostname | awk -F'-' '{print $2}'"

若未指定，将自动生成（参考KAFKA-1070），建议使用docker-compose --no-recreate确保容器不重建，保持名称和ID不变。

自动创建主题

通过KAFKA_CREATE_TOPICS环境变量可在启动时自动创建主题，格式示例：

yaml
environment:
  KAFKA_CREATE_TOPICS: "Topic1:1:3,Topic2:1:1:compact"

• Topic1：1个分区，3个副本
• Topic2：1个分区，1个副本，清理策略为compact

如需使用多行或其他分隔符，可通过KAFKA_CREATE_TOPICS_SEPARATOR指定，例如：KAFKA_CREATE_TOPICS_SEPARATOR: "$'\n'"（使用换行分隔）。

广播主机名配置

可通过以下方式配置广播主机名：

1. 显式指定：KAFKA_ADVERTISED_HOST_NAME: 192.168.1.100
2. 命令生成：HOSTNAME_COMMAND: "route -n | awk '/UG[ \t]/{print $2}'"

KAFKA_ADVERTISED_HOST_NAME优先级高于HOSTNAME_COMMAND。

AWS部署示例：使用元数据服务获取主机IP

yaml
HOSTNAME_COMMAND: wget -t3 -T2 -qO- http://169.254.169.254/latest/meta-data/local-ipv4

注入HOSTNAME_COMMAND到配置

如需在其他KAFKA_XXX变量中使用HOSTNAME_COMMAND的值，可使用_{HOSTNAME_COMMAND}占位符：

yaml
KAFKA_ADVERTISED_LISTENERS: SSL://_{HOSTNAME_COMMAND}:9093,PLAINTEXT://9092

广播端口配置

如需动态确定广播端口，可使用PORT_COMMAND环境变量：

yaml
PORT_COMMAND: "docker port $(hostname) 9092/tcp | cut -d: -f2"

在其他KAFKA_XXX变量中使用_{PORT_COMMAND}占位符引用：

yaml
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://1.2.3.4:_{PORT_COMMAND}

监听器配置

Kafka支持多监听器配置，用于区分不同协议和内外网流量。建议参考Kafka文档了解详细配置选项。

注意：advertised.host.name和advertised.port已被弃用，不建议与监听器配置同时使用。

配置示例

yaml
HOSTNAME_COMMAND: curl http://169.254.169.254/latest/meta-data/public-hostname
KAFKA_ADVERTISED_LISTENERS: INSIDE://:9092,OUTSIDE://_{HOSTNAME_COMMAND}:9094
KAFKA_LISTENERS: INSIDE://:9092,OUTSIDE://:9094
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE

生成的broker配置：

advertised.listeners = OUTSIDE://ec2-xx-xx-xxx-xx.us-west-2.compute.amazonaws.com:9094,INSIDE://:9092
listeners = OUTSIDE://:9094,INSIDE://:9092
inter.broker.listener.name = INSIDE

配置规则

• 监听器不可共享端口
• 广播监听器（advertised.listener）的协议和端口必须在监听器列表（listeners）中存在

Broker机架配置

可通过以下方式配置broker机架 affinity：

1. 显式指定：KAFKA_BROKER_RACK: us-west-2a
2. 命令生成：RACK_COMMAND: "curl http://169.254.169.254/latest/meta-data/placement/availability-zone"（AWS示例，获取可用区）

JMX监控配置

如需启用JMX监控，需配置相关JMX参数，例如：

yaml
KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=127.0.0.1 -Dcom.sun.management.jmxremote.rmi.port=1099"
JMX_PORT: 1099

通过JConsole连接：jconsole 192.168.99.100:1099

Docker Swarm模式部署

在Docker Swarm中使用overlay网络部署Kafka时，需配置内外网监听器分离。推荐最佳实践：

• 使用deploy: global确保每个swarm节点仅运行一个Kafka broker
• 使用compose文件版本3.2+（Docker 16.04+），采用“host”模式端口映射：

yaml
ports:
  - target: 9094
    published: 9094
    protocol: tcp
    mode: host

参考示例配置文件docker-compose-swarm.yml。

教程

详细教程请参考：http://wurstmeister.github.io/kafka-docker/