solsson/kafka-consumers-prometheus

Kafka Minion

镜像概述

Kafka Minion 是一款专为 Apache Kafka（v0.11.0.2 及以上版本）设计的 Prometheus 指标导出器。其核心目标是可靠地暴露消费者组延迟（Consumer Group Lag）信息，并提供其他丰富且独特的 Kafka 集群监控指标。该镜像专为 Kubernetes 环境优化，配置简单且具备高可用性。

核心功能和特性

• 广泛的版本支持：支持 Kafka 0.11.0.2 至 2.2.x 及以上版本。
• 高可靠性数据获取：直接从 __consumer_offsets 内部主题获取消费者组信息，而非向单个 Broker 查询，确保在 Broker 故障或 Leader 选举期间的鲁棒性。
• 无 Zookeeper 依赖：完全基于 Kafka 原生协议，不依赖 Zookeeper。
• 安全认证支持：全面支持 Kafka SASL（包含 SCRAM 和 GSSAPI/Kerberos）和 TLS/SSL 加密连接。
• 细粒度指标：提供精确到 consumergroup:topic 级别的延迟指标。
• 云原生设计：内置 Liveness/Readiness 健康检查，并提供官方 Helm Chart，完美契合 Kubernetes 部署。

使用场景和适用范围

• Kafka 集群日常运维与监控：实时监控 Topic、Partition 和 Broker 的运行状态及存储容量。
• 消费者组延迟（Lag）告警：精准追踪各业务消费组的积压情况，结合 Grafana 设置阈值告警。
• 多版本消费组管理：通过特有的 group_base_name 和 group_version 标签，有效过滤和识别因重置 Offset 而产生的历史废弃消费组。
• Kubernetes 环境下的 Kafka 可观测性建设：作为 Prometheus 生态的数据源，无缝集成到现有的云原生监控体系中。

详细的使用方法和配置说明

环境变量配置

Kafka Minion 通过环境变量进行配置，以下是核心参数说明：

(注：更多 GSSAPI/Kerberos 及 TLS 高级配置请参考官方完整文档。)

Docker 部署示例

1. 使用 Docker Run 部署

bash
docker run -d \
  --name kafka-minion \
  -p 8080:8080 \
  -e KAFKA_BROKERS="kafka-1:9092,kafka-2:9092" \
  -e LOG_LEVEL="info" \
  -e EXPORTER_IGNORE_SYSTEM_TOPICS="true" \
  quay.io/google-cloud-tools/kafka-minion:latest

2. 使用 Docker Compose 部署

yaml
version: '3.8'

services:
  kafka-minion:
    image: quay.io/google-cloud-tools/kafka-minion:latest
    container_name: kafka-minion
    ports:
      - "8080:8080"
    environment:
      - KAFKA_BROKERS=kafka-1:9092,kafka-2:9092
      - LOG_LEVEL=info
      - METRICS_PREFIX=kafka_minion
      - KAFKA_VERSION=2.2.0
      # 若启用 SASL，取消以下注释
      # - KAFKA_SASL_ENABLED=true
      # - KAFKA_SASL_MECHANISM=SCRAM-SHA-256
      # - KAFKA_SASL_USERNAME=admin
      # - KAFKA_SASL_PASSWORD=admin-secret
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "wget", "--spider", "-q", "http://localhost:8080/metrics"]
      interval: 30s
      timeout: 10s
      retries: 3

暴露的指标 (Metrics)

Kafka Minion 提供了丰富的指标，所有指标默认带有 kafka_minion_ 前缀。

核心标签 (Labels)

• topic: 主题名称
• partition: 分区 ID（从 0 开始）
• group: 消费者组名称
• group_base_name: 消费者组基础名称（用于识别版本化消费组）
• group_version: 消费者组版本号
• group_is_latest: 标识该消费组是否为同名基础组中的最新版本

主要指标分类

1. 消费者组指标：

   • kafka_minion_group_topic_lag: 消费组在指定 Topic 上的总延迟消息数。
   • kafka_minion_group_topic_partition_lag: 消费组在指定 Partition 上的延迟消息数。
   • kafka_minion_group_topic_partition_offset: 消费组在指定 Partition 的当前 Offset。
   • kafka_minion_group_topic_partition_last_commit: 消费组最后一次提交 Offset 的时间戳。

2. 主题/分区指标：

   • kafka_minion_topic_partition_count: Topic 的分区总数及清理策略。
   • kafka_minion_topic_partition_high_water_mark: 分区的最新高水位（High Water Mark）。
   • kafka_minion_topic_partition_message_count: 分区内的估算消息总数。
   • kafka_minion_topic_log_dir_size: Topic 占用的日志目录存储大小（字节）。

3. Broker 与内部指标：

   • kafka_minion_broker_log_dir_size: 单个 Broker 的日志存储大小。
   • kafka_minion_internal_kafka_messages_in_success/failed: 内部消费 __consumer_offsets 主题的成功/失败消息数。

工作原理

Kafka Minion 主要通过两个数据源计算指标：

1. 消费者组数据：持续消费 Kafka 内部的 __consumer_offsets 压缩主题。通过解析二进制协议获取各消费组的 Offset 提交记录，并处理墓碑消息（Tombstone）以清理过期 Offset。
2. Broker 请求：定期向 Broker 发起元数据请求，获取 Topic 配置、分区数量以及高低水位（Watermarks）信息。 当 Prometheus 抓取 /metrics 端点时，Kafka Minion 会基于当前内存中的快照数据，实时计算并输出延迟（Lag）等衍生指标。

常见问题 (FAQ)

Q: 为什么不使用 Burrow 等其他 Lag 导出器？ A: Kafka Minion 更加轻量级，原生输出 Prometheus 指标（无需额外 Exporter），且不依赖 Zookeeper。此外，它提供了独特的消费组版本控制标签（group_base_name, group_version），能完美解决开发团队通过递增后缀重建消费组来重放数据时，导致的旧消费组 Lag 误报问题。

Q: 如何可视化这些指标？ A: 官方提供了预配置的 Grafana Dashboard，可直接通过以下 ID 导入：

• Kafka Minion 核心监控面板：10083
• Kafka Minion 运维（OPS）面板：10466