prefecthq/prometheus-prefect-exporter

Prometheus Prefect Exporter 镜像文档

镜像概述

Prometheus Prefect Exporter是一个专用的Prometheus Exporter工具，旨在将Prefect工作流编排平台的运行指标标准化导出，以便Prometheus监控系统进行指标收集、存储、分析和可视化。该镜像支持对接Prefect Server（自托管）和Prefect Cloud（云服务），提供全面的Prefect核心组件指标，帮助用户构建完整的Prefect工作流监控体系。

核心功能与特性

核心功能

• 全面指标导出：支持导出Prefect工作流（Flow）、任务（Task）、代理（Agent）、工作队列（Work Queue）等核心组件的运行指标。
• 多指标类型支持：涵盖计数器（Counter）、计量器（Gauge）、直方图（Histogram）等Prometheus标准指标类型，如工作流运行总数、任务成功/失败次数、代理活跃状态等。
• 灵活配置：支持自定义指标抓取间隔、监听端口、API认证等参数，适配不同部署环境。

关键特性

• 兼容Prefect 2.x版本（支持Server和Cloud）；
• 内置健康检查接口，便于容器编排平台监控Exporter自身状态；
• 轻量级设计，基于Python/Go构建，资源占用低；
• 支持环境变量和配置文件两种配置方式，部署便捷。

使用场景

1. Prefect工作流监控：实时跟踪工作流启动/结束状态、任务执行耗时、失败率等关键指标，及时发现异常。
2. 性能分析：通过Prometheus+Grafana可视化Prefect系统性能瓶颈，如任务队列堆积、代理资源占用等。
3. 告警配置：结合Prometheus Alertmanager，针对工作流失败率过高、代理离线等异常场景配置告警规则。
4. 历史数据统计：长期存储工作流执行指标，用于趋势分析和容量规划。

使用方法

快速启动（Docker Run）

通过以下命令启动Exporter容器，默认监听9201端口：

bash
docker run -d \
  --name prefect-exporter \
  -p 9201:9201 \
  -e PREFECT_API_URL="http://prefect-server:4200/api" \
  -e PROMETHEUS_PORT=9201 \
  -e SCRAPE_INTERVAL=60 \
  prometheus-prefect-exporter:latest

环境变量配置

Docker Compose示例

yaml
version: '3.8'

services:
  prefect-exporter:
    image: prometheus-prefect-exporter:latest
    container_name: prefect-exporter
    ports:
      - "9201:9201"
    environment:
      - PREFECT_API_URL=http://prefect-server:4200/api
      - PREFECT_API_KEY=your-prefect-cloud-api-key  # 仅Prefect Cloud需配置
      - PROMETHEUS_PORT=9201
      - SCRAPE_INTERVAL=30
      - LOG_LEVEL=INFO
    restart: unless-stopped
    depends_on:
      - prefect-server  # 若依赖本地Prefect Server，需配置依赖关系

指标访问与Prometheus配置

Exporter启动后，可通过 http://<exporter-ip>:9201/metrics 访问原始指标。在Prometheus配置文件中添加如下job以收集指标：

yaml
scrape_configs:
  - job_name: 'prefect'
    static_configs:
      - targets: ['prefect-exporter:9201']  # Exporter容器地址:端口
    scrape_interval: 60s  # 建议与Exporter抓取间隔一致

主要指标说明

完整指标列表可通过访问Exporter的/metrics端点获取。