sumglobal/rpi-kafka

rpi kafka-docker

镜像概述和主要用途

rpi kafka-docker是适用于ARM 32位架构的Apache Kafka Docker镜像，基于Azul嵌入式Open JDK构建。该镜像可直接从https://hub.docker.com/r/sumglobal/rpi-kafka/%E8%8E%B7%E5%8F%96%EF%BC%8C%E4%B8%BB%E8%A6%81%E7%94%A8%E4%BA%8E%E5%9C%A8ARM%E8%AE%BE%E5%A4%87%EF%BC%88%E5%A6%82%E6%A0%91%E8%8E%93%E6%B4%BE%EF%BC%89%E4%B8%8A%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8CKafka%E6%B6%88%E6%81%AF%E7%B3%BB%E7%BB%9F%E3%80%82

核心功能和特性

• ARM 32位支持：专为ARM 32位架构优化，适用于低功耗ARM设备
• Azul嵌入式Open JDK：内置Azul嵌入式Open JDK，无需额外安装Java环境
• 灵活部署：支持Docker Compose和Kubernetes两种部署方式
• Broker ID配置：支持显式配置或通过命令动态生成Broker ID
• 自动主题创建：可通过环境变量自动创建Kafka主题
• JMX监控：支持JMX配置，便于性能监控和管理

使用场景和适用范围

• 树莓派等ARM 32位设备上的消息队列部署
• 低功耗物联网（IoT）环境中的数据流处理
• 开发和测试环境中的Kafka集群搭建
• 需要在ARM架构上运行的轻量级消息系统场景

使用方法和配置说明

Kubernetes使用

• 假设集群中已运行Zookeeper，服务名为"zookeeper"，监听端口2181。推荐使用https://hub.docker.com/r/sumglobal/rpi-zookeeper%E9%95%9C%E5%83%8F
• 创建Replication Controller

TODO: finish instructions

Docker Compose使用

启动集群

bash
docker-compose up -d

添加更多broker

bash
docker-compose scale kafka=3

销毁集群

bash
docker-compose stop

注意事项

默认的docker-compose.yml仅作为起点。默认情况下，每次重启时每个broker会获取新的端口号和broker id。根据使用场景，这可能不符合需求。如果需要使用特定端口和broker id，请修改docker-compose配置，例如使用https://github.com/wurstmeister/kafka-docker/blob/master/docker-compose-single-broker.yml%EF%BC%9A

bash
docker-compose -f docker-compose-single-broker.yml up

Broker IDs配置

可通过以下方式配置broker id：

1. 显式配置，使用KAFKA_BROKER_ID环境变量
2. 通过命令配置，使用BROKER_ID_COMMAND，例如：

   yaml
   BROKER_ID_COMMAND: "hostname | awk -F'-' '{print $2}'"
   

如果未在docker-compose文件中指定broker id，将自动生成（参见KAFKA-1070）。这种情况下，建议使用docker-compose的--no-recreate选项，确保容器不会被重新创建，从而保留其名称和id。

自动创建主题

如需在创建Kafka容器时自动创建主题，可在docker-compose.yml中添加KAFKA_CREATE_TOPICS环境变量。

示例配置：

yaml
environment:
  KAFKA_CREATE_TOPICS: "Topic1:1:3,Topic2:1:1:compact"

• Topic1：1个分区，3个副本
• Topic2：1个分区，1个副本，清理策略（cleanup.policy）设为compact

Advertised hostname配置

可通过以下方式配置advertised hostname：

1. 显式配置，使用KAFKA_ADVERTISED_HOST_NAME环境变量
2. 通过命令配置，使用HOSTNAME_COMMAND，例如：

   yaml
   HOSTNAME_COMMAND: "route -n | awk '/UG[ \t]/{print $2}'"
   

使用命令配置时，请参考Docker Compose文档中的"变量替换"部分([***]

如果同时指定KAFKA_ADVERTISED_HOST_NAME，则其优先级高于HOSTNAME_COMMAND。

JMX配置

为便于监控，可配置JMX。除标准JMX参数外，还需注意RMI协议相关配置：

• java.rmi.server.hostname：绑定监听端口的接口
• com.sun.management.jmxremote.rmi.port：RMI请求服务端口

示例配置（假设暴露1099端口）：

yaml
KAFKA_JMX_OPTS: "-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=127.0.0.1 -Dcom.sun.management.jmxremote.rmi.port=1099"
JMX_PORT: 1099

可通过Jconsole连接：

bash
jconsole 192.168.99.100:1099