stakater/kafka-with-consul-template

Kafka with consul-template 镜像文档

镜像概述和主要用途

本镜像集成了consul-template工具的Kafka服务，旨在通过Consul实现服务发现和动态配置管理。它能够根据Consul中的服务注册信息和KV存储动态生成Kafka配置，适用于需要灵活调整Kafka配置的分布式环境。

核心功能和特性

• 集成consul-template，支持Kafka配置的动态生成与实时更新
• 支持自定义模板，可通过卷映射替换默认配置模板
• 依赖Consul服务发现机制，自动获取Zookeeper等依赖服务信息
• 通过Consul KV存储管理Kafka关键配置参数（如通信主机和端口）

使用场景和适用范围

• 需要动态调整Kafka配置的分布式系统
• 基于Consul进行服务治理的微服务架构环境
• 依赖Zookeeper协调的Kafka集群部署
• 需要集中化管理Kafka配置参数的场景

使用方法和配置说明

基本运行命令

bash
docker run -d --name kafka -p 9200:9200 -v /home/core/shared/templates/kafka-templates:/templates --label SERVICE_NAME=kafka --dns=172.17.9.101 --dns-search=service.consul stakater/kafka-with-consul-template

注意事项

• --dns选项必须指定Consul agent的地址，通常为主机实例/机器的私有IP（可通过hostname -i命令获取）
• 若需使用自定义Kafka模板，需通过-v参数进行卷映射（如示例中的/home/core/shared/templates/kafka-templates:/templates）；若默认模板满足需求，可省略此映射

示例模板及前提条件

前提条件

Consul服务要求

• 必须至少有1个zookeeper服务在Consul中注册，服务名称为zookeeper-2181

可通过以下命令运行Zookeeper并注册到Consul：

bash
docker run -d --name zookeeper --label SERVICE_NAME=zookeeper -p 2181:2181 zookeeper

Consul Key-Value条目要求

1. 用于告知客户端和broker通信的主机地址
   key: kafka/advertisedHost
   示例值: 172.17.9.101（通常为运行Kafka的主机私有IP）

2. 用于告知客户端和broker通信的端口
   key: kafka/advertisedPort
   示例值: 9200（必须与容器运行时暴露的端口一致）