pceric/kafka-offset-lag-for-prometheus

kafka-offset-lag-for-prometheus

镜像概述和主要用途

该镜像用于将Kafka消费者偏移量延迟（consumer offset lag）暴露给Prometheus，以便进行监控和告警。支持Kafka v0.9.0.0及更高版本，仅导出存储在Kafka中的偏移量数据。

核心功能和特性

• 支持配置Kafka brokers地址列表
• 可设置数据刷新间隔（默认15秒）
• 支持Prometheus指标暴露端口自定义（默认7979）
• 可选仅显示活动消费者协议的消费者
• 支持SASL认证（含用户名、密码及加密算法配置）
• 可启用当前偏移量消费者组指标
• 支持新API以优化Kafka API调用
• 提供调试模式

使用场景和适用范围

适用于需要通过Prometheus监控Kafka消费者组偏移量延迟的场景，尤其适合：

• Kafka集群运维监控
• 消费者组消费状态跟踪
• 消息处理延迟告警配置
• 基于Kafka的数据流平台监控

使用方法和配置说明

环境变量配置

通过以下环境变量自定义镜像行为：

Docker Compose部署示例

创建docker-compose.yml文件：

yaml
version: '3'
services:
  kafka-offset-exporter:
    image: kafka-offset-lag-for-prometheus
    environment:
      - KAFKA_BROKERS=kafka1:9092,kafka2:9092
      - PROMETHEUS_ADDR=:8080
      - REFRESH_INTERVAL=30
      - ENABLE_NEW_API=true
    ports:
      - "8080:8080"

启动命令：docker-compose up -d

本地构建与运行

如需本地构建，可参考Dockerfile中的构建说明，通过命令行参数配置运行。

Prometheus集成

Prometheus指标通过配置的端口暴露在/metrics路径下。

指标查询示例

按消费者组和主题汇总过去5分钟内的最大Kafka消费者组延迟：

promql
sum by (group, topic) (max_over_time(kafka_consumer_group_lag[5m]))