0xgirish/kafka-exporter

Kafka Exporter

概述

Kafka Exporter是一个用于Prometheus的指标导出工具，专门用于收集Kafka集群的各类运行指标。它能够从Kafka集群中提取broker状态、topic信息和消费者组数据，并以Prometheus兼容的格式暴露指标，便于监控系统进行数据采集和分析。

核心功能与特性

• 多维度指标收集：支持收集broker、topic和消费者组三个维度的关键指标
• 灵活的认证支持：提供SASL认证和TLS加密功能，适应不同安全需求的Kafka集群
• 可配置的采集参数：支持自定义指标刷新间隔、监听地址和日志级别
• 高可用性设计：支持连续失败阈值配置，超过阈值时自动退出

使用场景

• Kafka集群健康状态监控
• 主题分区副本状态与同步情况跟踪
• 消费者组延迟（lag）监控与性能分析
• 集群broker角色与控制器状态监控
• 内部主题识别与管理

使用方法

命令行参数说明

Docker部署示例

基础部署（无认证Kafka集群）

sh
docker run -d \
  --name kafka-exporter \
  -p 9308:9308 \
  prometheus/kafka-exporter \
  --kafka.servers=kafka-broker1:9092,kafka-broker2:9092 \
  --refresh.interval=30s \
  --log.level=info

SASL认证部署

sh
docker run -d \
  --name kafka-exporter \
  -p 9308:9308 \
  -e SASL_USERNAME=admin \
  -e SASL_PASSWORD=secret \
  prometheus/kafka-exporter \
  --kafka.servers=kafka-broker1:9093 \
  --sasl.enabled \
  --sasl.mechanism=PLAIN \
  --tls.enabled

指标说明

Broker指标

1. kafka_brokers - Kafka集群中的broker数量
2. kafka_broker_info - Broker基本信息（node_id、host、rack_id）
3. kafka_broker_controller - 集群控制器的broker ID

Topic指标

1. kafka_topic_partitions - 主题的分区数量
2. kafka_topic_partition_replicas - 分区的副本数量
3. kafka_topic_partition_leader - 分区的leader broker ID
4. kafka_topic_partition_in_sync_replicas - 分区的同步副本数量
5. kafka_topic_partition_leader_is_preferred - 分区leader是否为首选leader
6. kafka_topic_partition_under_replicated_partition - 分区是否为欠复制状态
7. kafka_topic_partition_current_offset - 分区当前偏移量
8. kafka_topic_partition_oldest_offset - 分区最旧偏移量
9. kafka_topic_is_internal - 主题是否为内部主题

消费者组指标

1. kafka_consumergroup_current_offset - 消费者组当前偏移量
2. kafka_consumergroup_lag - 消费者组延迟（lag）
3. kafka_consumergroup_coordinator - 消费者组协调器的broker ID
4. kafka_consumergroup_members - 消费者组中的成员数量