callstats/prometheus_kafka_probe_py

Kafka偏移量探针（带Prometheus抓取功能）

镜像概述和主要用途

该应用通过HTTP端点/internal/metrics暴露Kafka的（主题、分区、偏移量）三元组信息，支持Prometheus进行指标抓取，用于监控Kafka主题的最新偏移量及消费者组的偏移量状态。

核心功能和特性

暴露的指标

标签

指标包含以下标签：

其他标签（如环境、集群名称等）应在更高层级添加。

使用场景和适用范围

适用于需要监控Kafka主题偏移量和消费者组偏移量的场景，帮助运维和开发人员跟踪消息处理进度、检测消费延迟或数据积压问题。

配置说明

应用通过以下环境变量读取配置：

使用方法

Docker运行示例

bash
docker run -d \
  -p 8080:8080 \
  -e PORT=8080 \
  -e KAFKAHOSTS=kafka-broker1:9092,kafka-broker2:9092 \
  -e TOPICS=topic1,topic2 \
  -e CONSUMERGROUPS='{"topic1": ["cg1"], "topic2": ["cg1", "cg2"]}' \
  --name kafka-offset-probe \
  [镜像名称]

Docker Compose配置示例

yaml
version: '3'
services:
  kafka-offset-probe:
    image: [镜像名称]
    ports:
      - "8080:8080"
    environment:
      - PORT=8080
      - KAFKAHOSTS=kafka-broker1:9092,kafka-broker2:9092
      - TOPICS=topic1,topic2
      - CONSUMERGROUPS='{"topic1": ["cg1"], "topic2": ["cg1", "cg2"]}'
    restart: always

运行后，可通过http://<容器IP>:8080/internal/metrics访问指标端点，Prometheus可配置该地址进行数据抓取。