telefonica/kafka-prometheus

Kafka with Prometheus Exporter

该镜像基于 https://hub.docker.com/r/confluentinc/cp-kafka/%EF%BC%8C%E5%A6%82%E9%9C%80%E4%BA%86%E8%A7%A3%E5%9F%BA%E7%A1%80%E9%95%9C%E5%83%8F%E8%AF%A6%E6%83%85%EF%BC%8C%E8%AF%B7%E5%8F%82%E8%80%83%E5%85%B6Docker Hub页面。

核心功能

1. Prometheus监控集成：通过-javaagent加载Prometheus JMX Exporter，在7071端口暴露/metrics HTTP端点，支持Prometheus采集Kafka监控数据。
2. 动态参数配置：提供以下环境变量，允许运行时动态设置Kafka关键参数：
   • CMD_KAFKA_ADVERTISED_LISTENERS：执行命令并将输出赋值给KAFKA_ADVERTISED_LISTENERS，适用于运行时确定广告监听地址的场景。
   • CMD_KAFKA_BROKER_RACK：执行命令并将输出赋值给KAFKA_BROKER_RACK，适用于运行时获取broker机架信息的场景。
   • CMD_KAFKA_BROKER_ID：执行命令并将输出赋值给KAFKA_BROKER_ID，适用于运行时生成broker ID的场景。
   • CUSTOM_INIT_SCRIPT：运行时在Kafka启动前执行自定义初始化脚本。
3. 预装工具：安装jq工具，方便处理JSON数据。

使用场景

• 云环境（如AWS）中动态获取实例IP/可用区配置Kafka参数。
• 需要对Kafka集群进行Prometheus监控的场景。
• 需要启动前执行自定义初始化逻辑的场景。

配置示例

Docker Compose（AWS环境动态配置）

yaml
services:
  kafka:
    image: telefonica/kafka-prometheus
    environment:
      # 通过AWS元数据服务获取公网IP设置广告监听地址
      CMD_KAFKA_ADVERTISED_LISTENERS: "echo PLAINTEXT://`curl -s http://169.254.169.254/latest/meta-data/public-ipv4`:9092"
      # 通过AWS元数据服务获取可用区设置机架ID
      CMD_KAFKA_BROKER_RACK: "curl -s http://169.254.169.254/latest/meta-data/placement/availability-zone"
      # 从HOSTNAME提取最后一段作为broker ID
      CMD_KAFKA_BROKER_ID: "echo ${HOSTNAME##*-}"

构建镜像

sh
docker build -t telefonica/kafka-prometheus:<tag> .

标签需遵循x.y.z-N格式，其中x.y.z与Confluent基础镜像标签一致，N为构建编号。

覆盖监控配置

如需自定义Prometheus JMX Exporter过滤规则，可挂载配置文件到：

/etc/kafka/kafka-jmx-exporter.yml