chrnola/redis-streams-exporter

Redis Streams Exporter

镜像概述

Redis Streams Exporter是一个用于将Redis Streams消费者组数据暴露为Prometheus指标的工具，可帮助监控Redis流的消息数量、消费者组状态、待处理消息数等关键指标，便于通过Prometheus进行监控和告警。

核心功能和特性

• 监控Redis流的基本信息：消息总数、最早/最新消息时间戳
• 跟踪消费者组状态：待处理消息数、消费者数量、最后投递消息时间戳
• 监控消费者个体：待处理消息数、空闲时间
• 支持通过环境变量灵活配置
• 提供Prometheus兼容的metrics接口

使用场景

适用于需要监控Redis Streams运行状态的场景，特别是：

• 分布式消息处理系统中监控消息流转状态
• 确保消费者组正常消费消息，及时发现消息堆积问题
• 跟踪消费者活跃度，识别异常离线的消费者

使用方法

基本运行

假设要监控的Redis服务位于localhost:6379，流名称为my-stream-key：

bash
docker run --env REDIS_STREAM_KEY=my-stream-key -p 3000:3000 -it chrnola/redis-streams-exporter:latest

Prometheus指标将在http://localhost:3000/metrics地址可用。

Docker Compose配置示例

yaml
version: '3'
services:
  redis-streams-exporter:
    image: chrnola/redis-streams-exporter:latest
    ports:
      - "3000:3000"
    environment:
      - REDIS_STREAM_KEY=my-stream-key
      - REDIS_CONNECTION_STRING=redis://redis:6379
      - REDIS_POLL_INTERVAL_MS=5000
      - PROMETHEUS_PORT=3000
    depends_on:
      - redis
  redis:
    image: redis:latest
    ports:
      - "6379:6379"

配置说明

所有配置通过环境变量进行，具体参数如下：

导出指标

指标按不同粒度级别导出：

流级别指标

# HELP redis_stream_length 流中的消息数量
# TYPE redis_stream_length gauge
redis_stream_length{stream="my-stream-key"} 24601

# HELP redis_stream_earliest_id 流中最早消息的 epoch 时间戳
# TYPE redis_stream_earliest_id gauge
redis_stream_earliest_id{stream="my-stream-key"} 1597104418874

# HELP redis_stream_latest_id 流中最新消息的 epoch 时间戳
# TYPE redis_stream_latest_id gauge
redis_stream_latest_id{stream="my-stream-key"} 1597152683722

# HELP redis_stream_consumer_groups_total 流的消费者组数量
# TYPE redis_stream_consumer_groups_total gauge
redis_stream_consumer_groups_total{stream="my-stream-key"} 3

消费者组级别指标

# HELP redis_stream_consumer_group_last_delivered_id 最后投递消息的 epoch 时间戳
# TYPE redis_stream_consumer_group_last_delivered_id gauge
redis_stream_consumer_group_last_delivered_id{stream="my-stream-key",group="group-a"} 1597152683722
redis_stream_consumer_group_last_delivered_id{stream="my-stream-key",group="group-b"} 1597152683722
redis_stream_consumer_group_last_delivered_id{stream="my-stream-key",group="group-c"} 1597152683722

# HELP redis_stream_consumer_group_pending_messages_total 组的待处理消息数量
# TYPE redis_stream_consumer_group_pending_messages_total gauge
redis_stream_consumer_group_pending_messages_total{stream="my-stream-key",group="group-a"} 0
redis_stream_consumer_group_pending_messages_total{stream="my-stream-key",group="group-b"} 0
redis_stream_consumer_group_pending_messages_total{stream="my-stream-key",group="group-c"} 0

# HELP redis_stream_consumer_group_consumers_total 组中的消费者数量
# TYPE redis_stream_consumer_group_consumers_total gauge
redis_stream_consumer_group_consumers_total{stream="my-stream-key",group="group-a"} 1
redis_stream_consumer_group_consumers_total{stream="my-stream-key",group="group-b"} 1
redis_stream_consumer_group_consumers_total{stream="my-stream-key",group="group-c"} 1

消费者级别指标

# HELP redis_stream_consumer_pending_messages_total 消费者的待处理消息数量
# TYPE redis_stream_consumer_pending_messages_total gauge
redis_stream_consumer_pending_messages_total{stream="my-stream-key",group="group-a",consumer="dhHXcC1E3"} 0
redis_stream_consumer_pending_messages_total{stream="my-stream-key",group="group-b",consumer="UgfoRw0ew"} 0
redis_stream_consumer_pending_messages_total{stream="my-stream-key",group="group-c",consumer="4gXR54IYg"} 0

# HELP redis_stream_consumer_idle_time_seconds 消费者的空闲时间（秒）
# TYPE redis_stream_consumer_idle_time_seconds gauge
redis_stream_consumer_idle_time_seconds{stream="my-stream-key",group="group-a",consumer="dhHXcC1E3"} 77.063
redis_stream_consumer_idle_time_seconds{stream="my-stream-key",group="group-b",consumer="UgfoRw0ew"} 77.064
redis_stream_consumer_idle_time_seconds{stream="my-stream-key",group="group-c",consumer="4gXR54IYg"} 77.064

构建方法

需安装.NET Core SDK (3.1)：

bash
dotnet build src

或使用提供的Dockerfile构建：

bash
docker build .