solsson/kafka-monitor

Kafka Docker镜像

无意外的Kafka Docker镜像。公共构建地址为 https://hub.docker.com/r/solsson/kafka/%EF%BC%8C%E8%87%B3%E4%BB%8A%E5%B7%B2%E6%9C%8910%E4%B8%87+%E6%AC%A1%E6%8B%89%E5%8F%96%E3%80%82

设计目标

• 透明构建：Dockerfile自包含且直接来源于源代码。
• 推荐使用镜像SHA确保安全性和稳定性（https://github.com/solsson/dockerfiles/pull/11%EF%BC%89%E3%80%82
• 与经过更充分验证的https://hub.docker.com/r/confluentinc/cp-kafka/%E9%87%87%E7%94%A8%E7%9B%B8%E5%90%8C%E7%9A%84%E5%9F%BA%E7%A1%80%E5%B9%B3%E5%8F%B0%E9%80%89%E6%8B%A9%EF%BC%88https://github.com/solsson/dockerfiles/pull/5%E3%80%81https://github.com/solsson/dockerfiles/pull/9%EF%BC%89%E3%80%82
• 支持Kafka分发版捆绑的其他工具 - Zookeeper、主题管理、Connect和Streams（https://github.com/solsson/dockerfiles/pull/7%EF%BC%89%E3%80%82
• 鼓励采用约定来清晰展示所有非默认配置，以帮助Kafka初学者。
• 避免推荐http://docs.confluent.io/current/cp-docker-images/docs/quickstart.html%EF%BC%8C%E6%AD%A4%E7%B1%BB%E5%81%9A%E6%B3%95%E5%9C%A8%E5%A4%9A%E8%8A%82%E7%82%B9%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%B8%8D%E5%88%87%E5%AE%9E%E9%99%85%E3%80%82
• 支持[***]

使用方法

默认入口点 docker run solsson/kafka 将列出"***"脚本和示例配置文件。可尝试使用 docker run --entrypoint ./bin/kafka-server-start.sh solsson/kafka 或 docker run --entrypoint ./bin/kafka-topics.sh solsson/kafka 查看特定工具的帮助信息。

你很可能需要挂载自己的配置文件，或者对于 ./bin/kafka-server-start.sh，使用如下覆盖参数：

  --override zookeeper.connect=zookeeper:2181
  --override log.dirs=/var/lib/kafka/data/topics
  --override log.retention.hours=-1
  --override broker.id=0
  --override advertised.listener=PLAINTEXT://kafka-0:9092

如果挂载配置，请注意 log4j.properties 的位置。Kafka的***脚本会猜测路径，除非你设置 KAFKA_LOG4J_OPTS 环境变量。

我们避免使用环境变量规则进行配置覆盖（如 https://hub.docker.com/r/wurstmeister/kafka/ 和 https://hub.docker.com/r/confluentinc/cp-kafka/ 中使用的方式），因为***脚本本身已大量使用环境变量，这会导致混乱。此外，集群设置中为跨实例共享配置，往往需要bash技巧。例如，参见此https://github.com/Yolean/kubernetes-kafka/pull/45/commits/db264b09cc7903346238b4464183f3a9571f65e6%E5%92%8Chttps://github.com/Yolean/kubernetes-kafka/issues/13%E6%89%80%E9%9C%80%E7%9A%84%E8%A6%86%E7%9B%96%E5%8F%82%E6%95%B0%E3%80%82

从0.11之前版本镜像升级

早期镜像使用 ./bin/kafka-server-start.sh 作为入口点，并内置了 zookeeper.connect=zookeeper:2181（而非localhost:2181）。升级时，请使用上述推荐命令恢复该功能。

本地构建和测试

要构建自己的kafka镜像，只需运行 docker build ./kafka。

在本地开发时（流处理镜像、监控、与kubernetes-kafka的兼容性等），我们使用https://github.com/Yolean/build-contract/%E3%80%82

使用以下命令构建和测试：docker run -v /var/run/docker.sock:/var/run/docker.sock -v $(pwd)/:/source solsson/build-contract test。但由于时序问题，仍需一些手动干预：

bash
compose='docker-compose -f build-contracts/docker-compose.yml'
$compose up -d zookeeper kafka-0
$compose logs zookeeper kafka-0
# 能否使用镜像提供的脚本创建主题？
$compose up test-topic-create-1
# 生产者能否使用snappy发送消息（之前镜像存在类缺失问题）
$compose up test-snappy-compression
$compose up test-consume-all
# 演示日志/文件聚合镜像
docker-compose -f build-contracts/docker-compose.files-aggregation.yml up
# 演示JMX->kafka镜像
docker-compose -f build-contracts/docker-compose.monitoring.yml up

为何仓库名为dockerfiles？

该仓库曾经包含多个Dockerfile，但后来这些文件已迁移到单独的Docker化项目仓库。我们保留仓库名称是为了避免破坏Docker Hub中solsson/kafka的自动构建。

如需此仓库的旧版Dockerfile（如果你是从Docker Hub的https://hub.docker.com/u/solsson/%E9%95%9C%E5%83%8F%E5%AF%BC%E8%88%AA%E5%88%B0%E6%AD%A4%E5%A4%84%EF%BC%89%EF%BC%8C%E8%AF%B7%E5%8F%82%E8%A7%81 https://github.com/solsson/dockerfiles/tree/misc-dockerfiles%E3%80%82

原生构建

非常实验性。

NOPUSH=true IMAGE_NAME=solsson/kafka:nativeagent ./hooks/build
docker-compose -f native/docker-compose.yml down
NOPUSH=true IMAGE_NAME=solsson/kafka:native ./hooks/build

要测试原生镜像，重用用例脚本：

for build in kafka-topics kafka-configs kafka-consumer-groups zookeeper-server-start; do
  docker tag solsson/kafka:native-$build solsson/kafka:nativeagent-$build
done
./native/native-usecases.sh
docker-compose -f native/docker-compose.yml down
docker run --rm --entrypoint chown -v $(pwd)/native/configs:/configs docker.xuanyuan.run/busybox -R $(id -u) /configs
git restore --source=HEAD --staged --worktree -- native/configs/
# cli镜像应简单组合支持的命令
docker run --rm --entrypoint sh docker.xuanyuan.run/solsson/kafka:native-cli -c 'ls ./***/'