danielqsj/kafka-exporter

kafka_exporter

镜像概述与主要用途

kafka_exporter是一个用于Prometheus的Kafka指标导出器，能够收集Kafka集群的关键指标（如Broker状态、Topic分区信息、消费者组滞后等），并通过HTTP端点暴露给Prometheus进行监控。对于Kafka的其他JMX指标，可结合https://github.com/prometheus/jmx_exporter%E4%BD%BF%E7%94%A8%E3%80%82

核心功能与特性

• 多维度指标收集：支持Broker、Topic、Consumer Group三个层级的指标采集
• 灵活的配置选项：支持多Kafka服务器配置、SASL/TLS认证、元数据刷新间隔调整等
• Docker化部署：提供官方Docker镜像，支持快速部署与集成
• Prometheus兼容：暴露标准Prometheus指标格式，支持无缝接入监控系统
• Grafana集成：提供专用Grafana仪表板模板，支持可视化监控

兼容性

支持Apache Kafka 0.10.1.0及更高版本。

依赖环境

• Prometheus（指标收集与存储）
• https://shopify.github.io/sarama%EF%BC%88Kafka%E5%AE%A2%E6%88%B7%E7%AB%AF%E5%BA%93%EF%BC%89
• Golang（编译环境，如自行构建）

使用场景与适用范围

适用于需要对Kafka集群进行实时监控的场景，包括：

• 生产环境Kafka集群状态监控（Broker可用性、分区同步状态等）
• Topic健康度监控（分区数量、偏移量趋势、副本同步情况）
• 消费者组性能监控（消费滞后量、偏移量提交状态）
• 结合Prometheus告警规则实现异常状态告警
• 与Grafana配合构建可视化监控面板

使用方法与配置说明

镜像获取

bash
# 拉取最新版本
docker pull danielqsj/kafka-exporter:latest

# 拉取指定版本（如1.4.1）
docker pull danielqsj/kafka-exporter:1.4.1

快速启动（Docker Run）

基础配置（单Kafka节点）

bash
docker run -d \
  --name kafka-exporter \
  -p 9308:9308 \
  danielqsj/kafka-exporter:latest \
  --kafka.server=kafka:9092 \  # Kafka服务器地址
  --web.listen-address=:9308    # 监听地址（默认:9308）

高级配置（多Kafka节点+SASL认证）

bash
docker run -d \
  --name kafka-exporter \
  -p 9308:9308 \
  danielqsj/kafka-exporter:latest \
  --kafka.server=kafka-1:9092 \
  --kafka.server=kafka-2:9092 \  # 配置多个Kafka节点
  --sasl.enabled=true \          # 启用SASL认证
  --sasl.username=admin \        # SASL用户名
  --sasl.password=secret \       # SASL密码
  --sasl.mechanism=scram-sha512  # SASL认证机制

Docker Compose配置示例

yaml
version: '3.8'
services:
  kafka-exporter:
    image: danielqsj/kafka-exporter:latest
    container_name: kafka-exporter
    ports:
      - "9308:9308"
    command:
      - --kafka.server=kafka-1:9092
      - --kafka.server=kafka-2:9092
      - --web.listen-address=:9308
      - --refresh.metadata=60s  # 元数据刷新间隔
      - --kafka.labels=prod-cluster  # 集群标识标签
      - --topic.filter=^prod-.*  # 仅监控prod前缀的topic
    restart: unless-stopped
    networks:
      - kafka-network

networks:
  kafka-network:
    external: true

配置参数详解

核心配置参数

安全认证参数

高级配置参数

参数使用说明

• 布尔值参数：采用--<name>启用和--no-<name>禁用的形式。例如：

  • 启用SASL握手：--sasl.handshake
  • 禁用SASL握手：--no-sasl.handshake

• 多值参数：kafka.server支持多次指定，用于监控多节点集群，如--kafka.server=node1:9092 --kafka.server=node2:9092

导出指标说明

Broker指标

示例输出：

txt
# HELP kafka_brokers Number of Brokers in the Kafka Cluster.
# TYPE kafka_brokers gauge
kafka_brokers 3

Topic指标

示例输出：

txt
# HELP kafka_topic_partitions Number of partitions for this Topic
# TYPE kafka_topic_partitions gauge
kafka_topic_partitions{topic="order-events"} 8

# HELP kafka_topic_partition_in_sync_replica Number of In-Sync Replicas for this Topic/Partition
# TYPE kafka_topic_partition_in_sync_replica gauge
kafka_topic_partition_in_sync_replica{partition="0",topic="order-events"} 3

消费者组指标

示例输出：

txt
# HELP kafka_consumergroup_lag Current Approximate Lag of a ConsumerGroup at Topic/Partition
# TYPE kafka_consumergroup_lag gauge
kafka_consumergroup_lag{consumergroup="order-service",partition="0",topic="order-events"} 42

Grafana仪表板

官方提供Grafana仪表板模板，支持快速构建可视化监控面板：

• 仪表板ID：7589
• 名称：Kafka Exporter Overview
• 获取地址：Grafana Dashboard 7589

使用方法：在Grafana中导入仪表板ID，配置Prometheus数据源即可查看预设监控视图。

许可证

本项目基于https://github.com/danielqsj/kafka_exporter/blob/master/LICENSE%E5%BC%80%E6%BA%90%E3%80%82