mdawar/rq-exporter

Python RQ Prometheus Exporter

![PyPI]([] ![PyPI - Python Version]([] ![Libraries.io dependency status for latest release]([***]

Python RQ（Redis Queue）作业队列库的Prometheus指标导出器。

![Grafana仪表板]([***]

镜像概述和主要用途

该Docker镜像提供了Python RQ作业队列的Prometheus指标导出功能，用于监控RQ工人状态、队列中的作业状态及数量等关键指标。通过导出标准化的Prometheus指标，可无缝集成到Prometheus监控系统，并结合Grafana实现可视化监控，适用于需要实时掌握RQ作业队列运行状况的场景。

核心功能和特性

• 全面的RQ指标监控：导出工人状态（rq_workers）、作业状态（rq_jobs）等核心指标
• 灵活的配置方式：支持通过命令行参数或环境变量配置Redis连接、监听地址和端口
• Prometheus兼容：符合Prometheus指标格式，可直接集成到Prometheus监控体系
• Grafana集成：提供示例Grafana仪表板（ID: ***），便于可视化监控数据
• 请求处理指标：记录数据收集次数和耗时（rq_request_processing_seconds系列指标）

使用场景和适用范围

• 监控RQ作业队列中作业的排队、运行、完成、失败等状态
• 跟踪RQ工人的活跃状态、负责队列及负载情况
• 构建RQ作业队列的性能和健康状况监控面板
• 集成到DevOps监控流程，实现异常报警和性能优化

详细的使用方法和配置说明

安装

拉取Docker镜像

console
# 拉取最新镜像
docker pull mdawar/rq-exporter
# 或拉取特定版本
docker pull mdawar/rq-exporter:v1.0.0

镜像标签与https://hub.docker.com/r/mdawar/rq-exporter/tags%E5%AF%B9%E5%BA%94%E3%80%82

基本使用

运行容器并暴露端口

console
# 交互式运行，映射主机9726端口
docker run -it -p 9726:9726 mdawar/rq-exporter
# 后台运行（ detached 模式）
docker run -d -p 9726:9726 mdawar/rq-exporter

指定Redis连接参数

console
# 通过Redis URL连接
docker run -it -p 9726:9726 mdawar/rq-exporter --redis-url redis://:123456@redis_host:6379/0
# 通过主机、端口、密码等参数连接
docker run -it -p 9726:9726 mdawar/rq-exporter --redis-host 192.168.1.10 --redis-port 6380 --redis-pass 123456 --redis-db 1
# 通过密码文件连接（如Docker Secrets）
docker run -it -p 9726:9726 -v /run/secrets/redis_pass:/run/secrets/redis_pass mdawar/rq-exporter --redis-pass-file /run/secrets/redis_pass

指定监听地址和端口

console
# 监听本地地址和8080端口
docker run -it -p 8080:8080 mdawar/rq-exporter --host localhost --port 8080

使用环境变量配置

console
docker run -it -p 9726:9726 \
  -e RQ_REDIS_HOST=redis \
  -e RQ_REDIS_PASS=123456 \
  -e RQ_EXPORTER_PORT=9726 \
  mdawar/rq-exporter

配置参数说明

注意：

• 当通过--redis-url或RQ_REDIS_URL设置Redis URL时，其他Redis选项（如--redis-host）将被忽略
• 当通过--redis-pass-file或RQ_REDIS_PASS_FILE设置密码文件时，--redis-pass和RQ_REDIS_PASS将被忽略

Docker Compose配置示例

yaml
version: '3'
services:
  rq-exporter:
    image: mdawar/rq-exporter:latest
    ports:
      - "9726:9726"
    environment:
      - RQ_REDIS_HOST=redis
      - RQ_REDIS_PORT=6379
      - RQ_REDIS_DB=0
      - RQ_REDIS_PASS=123456
      - RQ_EXPORTER_LOG_LEVEL=INFO
    depends_on:
      - redis
  redis:
    image: redis:alpine
    command: redis-server --requirepass 123456
    ports:
      - "6379:6379"

导出的指标

RQ核心指标

请求处理指标

指标示例

# HELP rq_workers RQ工人状态
# TYPE rq_workers gauge
rq_workers{name="40d33ed9541644d79373765e661b7f38", queues="default", state="idle"} 1.0
rq_workers{name="fe9a433575e04685a53e4794b2eaeea9", queues="high,default,low", state="busy"} 1.0
# HELP rq_jobs 按队列和状态分类的RQ作业数量
# TYPE rq_jobs gauge
rq_jobs{queue="default", status="queued"} 2.0
rq_jobs{queue="default", status="started"} 1.0
rq_jobs{queue="default", status="finished"} 5.0
rq_jobs{queue="default", status="failed"} 1.0

Grafana仪表板

提供示例Grafana仪表板（ID: ***），可直接导入Grafana展示RQ监控数据。该仪表板包含工人状态分布、作业状态趋势、队列负载等面板。

注意：

• 示例仪表板可作为自定义仪表板的基础
• 需根据实际需求调整作业状态百分比面板的颜色阈值
• 部分面板同时展示百分比和当前值，仅用于演示PromQL查询

使用Gunicorn服务

可通过Gunicorn运行WSGI应用，提高并发处理能力：

console
# 安装Gunicorn
pip install gunicorn
# 启动服务
gunicorn "rq_exporter:create_app()" -b 0.0.0.0:9726 --threads 2 --log-level info

Dockerfile示例（Gunicorn）

dockerfile
FROM mdawar/rq-exporter:latest

USER root

RUN pip install --no-cache-dir gunicorn

USER exporter

ENTRYPOINT ["gunicorn", "rq_exporter:create_app()"]

CMD ["-b", "0.0.0.0:9726", "--threads", "2", "--log-level", "info", "--keep-alive", "3"]

并发注意事项：

• 多进程模式下，rq_request_processing_seconds系列指标会分散在不同进程，建议使用单进程多线程模式（--threads）处理并发请求，避免指标分散。

构建Docker镜像

console
# 构建镜像并标记为rq-exporter:latest
docker build -t rq-exporter .

也可通过Docker Compose构建：

console
docker-compose build

开发环境搭建

使用Docker Compose启动完整开发环境（包含RQ工人、Prometheus、Grafana等）：

console
# 启动基础环境
docker-compose up
# 启动多工人环境（需--compatibility支持deploy配置）
docker-compose --compatibility up

可访问的服务端口：

• RQ导出器：9726
• Redis：6379
• RQ Dashboard：9181
• Prometheus：9090
• Grafana：3000（默认登录：admin:admin）

扩展工人和作业数量：

console
# 启动5个工人
docker-compose up -d --scale worker=5
# 扩展工人和作业入队服务
docker-compose up -d --scale worker=5 --scale enqueue=2

清理开发环境：

console
# -v选项删除卷数据
docker-compose down -v

运行测试

console
python -m unittest

贡献指南

1. Fork https://github.com/mdawar/rq-exporter
2. 克隆分支：git clone <FORK_URL>
3. 创建特性分支：git checkout -b <分支名称>
4. 开发并提交更改：git commit -am "提交说明"
5. 推送分支：git push origin <分支名称>
6. 创建Pull Request