therionkiev/kafka-exporter

Kafka Exporter Docker镜像文档

镜像概述和主要用途

Kafka Exporter是一个针对Prometheus的指标导出器，用于收集和暴露Apache Kafka集群的关键监控指标。该镜像基于danielqsj/kafka_exporter项目的最新构建版本，支持Kafka 0.10.1.0及更高版本，可帮助用户实时监控Kafka集群状态、主题性能和消费者组行为，是Kafka运维和性能分析的重要工具。

核心功能和特性

• 全面的指标收集：支持收集Kafka集群、主题和消费者组的多维度指标，包括broker数量、分区信息、偏移量、同步副本数、消费者组延迟等。
• 灵活的认证支持：支持SASL/PLAIN认证（含用户名密码配置）和TLS加密连接，可对接有安全需求的Kafka集群。
• 可配置的过滤规则：允许通过正则表达式过滤需要监控的主题和消费者组。
• Prometheus兼容：暴露标准Prometheus metrics格式，可直接与Prometheus集成，并支持Grafana可视化。

使用场景和适用范围

• Kafka集群监控：实时监控Kafka集群健康状态，包括broker数量、分区同步状态等。
• 主题性能分析：跟踪主题的分区数、偏移量范围、同步副本状态等，评估主题负载和可用性。
• 消费者组监控：监控消费者组的消费进度和延迟，确保数据消费的及时性。
• 故障排查：通过指标异常（如分区不同步、消费者延迟突增）快速定位Kafka集群问题。

使用方法和配置说明

Docker Run命令示例

bash
docker run -ti --rm -p 9308:9308 danielqsj/kafka-exporter \
  --kafka.server=kafka:9092 \
  --kafka.version=2.8.0 \
  --sasl.enabled \
  --sasl.username=admin \
  --sasl.password=secret \
  --tls.enabled \
  --log.level=info

Docker Compose配置示例

yaml
version: '3.7'

services:
  kafka_exporter:
    container_name: kafka_exporter
    image: danielqsj/kafka-exporter:latest
    hostname: kafka_exporter
    labels:
      com.kafka.exporter.description: "Kafka metrics exporter"    
    entrypoint: [
      "/bin/kafka_exporter", 
      "--kafka.server=kafka:9092",          # Kafka服务地址
      "--sasl.enabled",                     # 启用SASL认证
      "--sasl.username=username",           # SASL用户名
      "--sasl.password=passwd",             # SASL密码
      "--sasl.handshake",                   # 启用SASL握手
      "--tls.enabled",                      # 启用TLS加密
      "--tls.insecure-skip-tls-verify",     # 跳过TLS证书验证（测试环境用）
      "--sasl.mechanism=plain",             # SASL认证机制
      "--log.level=debug",                  # 日志级别
      "--log.enable-sarama"                 # 启用Sarama库日志
    ] 
    ports:
      - 9308:9308  # 暴露Prometheus metrics端口

配置参数说明

注意事项

• 布尔类型参数通过--<name>启用，--no-<name>禁用（例如--no-sasl.handshake禁用SASL握手）。
• 多Kafka服务器可通过多次指定--kafka.server参数配置（如--kafka.server=kafka1:9092 --kafka.server=kafka2:9092）。

暴露的指标

Brokers（ brokers）

示例输出：

# HELP kafka_brokers Number of Brokers in the Kafka Cluster.
# TYPE kafka_brokers gauge
kafka_brokers 3

Topics（主题）

示例输出：

# HELP kafka_topic_partitions Number of partitions for this Topic
# TYPE kafka_topic_partitions gauge
kafka_topic_partitions{topic="__consumer_offsets"} 50

# HELP kafka_topic_partition_current_offset Current Offset of a Broker at Topic/Partition
# TYPE kafka_topic_partition_current_offset gauge
kafka_topic_partition_current_offset{partition="0",topic="__consumer_offsets"} 0

Consumer Groups（消费者组）

示例输出：

# HELP kafka_consumergroup_current_offset Current Offset of a ConsumerGroup at Topic/Partition
# TYPE kafka_consumergroup_current_offset gauge
kafka_consumergroup_current_offset{consumergroup="test-group",partition="0",topic="test-topic"} 100

# HELP kafka_consumergroup_lag Current Approximate Lag of a ConsumerGroup at Topic/Partition
# TYPE kafka_consumergroup_lag gauge
kafka_consumergroup_lag{consumergroup="test-group",partition="0",topic="test-topic"} 50

Grafana仪表板

可使用Grafana仪表板“Kafka Exporter Overview”（ID: 7589）可视化监控指标，详情参见：Kafka Exporter Overview。

许可证

本镜像基于https://github.com/danielqsj/kafka_exporter/blob/master/LICENSE%E8%AE%B8%E5%8F%AF%E3%80%82