astronomerinc/ap-prometheus

Astronomer Platform Prometheus 镜像文档

镜像概述

本镜像为Astronomer平台提供集成化的Prometheus服务。Prometheus是一款开源的时序数据库监控系统，专注于指标收集、存储和查询，本镜像针对Astronomer平台进行了预配置，可无缝集成平台各组件（如Airflow、数据库、消息队列等）的监控需求。

核心功能与特性

• 时序数据收集：通过配置的抓取规则，定期从Astronomer平台组件采集指标数据
• PromQL查询支持：提供灵活的PromQL查询语言，支持复杂指标分析与聚合
• 告警规则集成：可配置告警规则，当指标超出阈值时触发告警通知
• 平台适配优化：预定义针对Astronomer平台组件的监控指标与抓取配置
• 持久化存储：支持数据持久化，可配置存储保留策略
• 高可用性：支持通过联邦集群或远程存储实现高可用部署

使用场景与适用范围

适用于部署了Astronomer平台的环境，主要用于：

• 监控Astronomer平台核心组件（Airflow Worker、Scheduler、Webserver等）的运行状态
• 收集平台基础设施指标（CPU、内存、磁盘IO、网络流量等）
• 分析平台性能瓶颈，支持容量规划与资源优化
• 构建平台运行状态仪表盘，辅助运维与故障排查

使用方法

Docker Run 示例

bash
docker run -d \
  --name astronomer-prometheus \
  -p 9090:9090 \
  -v /path/to/prometheus-config:/etc/prometheus \
  -v prometheus-data:/prometheus \
  --network astronomer-platform \
  astronomer/prometheus:latest

Docker Compose 集成示例

yaml
version: '3.8'
services:
  prometheus:
    image: astronomer/prometheus:latest
    container_name: astronomer-prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus-config:/etc/prometheus
      - prometheus-data:/prometheus
    environment:
      - STORAGE_RETENTION=15d
      - SCRAPE_INTERVAL=15s
    restart: unless-stopped
    networks:
      - astronomer-platform-network

volumes:
  prometheus-data:

networks:
  astronomer-platform-network:
    external: true

配置参数说明

环境变量配置

持久化存储

为确保指标数据不丢失，建议通过卷挂载持久化存储目录/prometheus（容器内Prometheus数据存储路径）。

与Astronomer平台集成

1. 确保Prometheus容器与Astronomer平台其他组件在同一网络（如示例中的astronomer-platform-network）
2. 在Prometheus配置文件（prometheus.yml）中添加平台组件的抓取配置，示例：

   yaml
   scrape_configs:
     - job_name: 'airflow'
       static_configs:
         - targets: ['airflow-webserver:8080', 'airflow-worker:8080']
     - job_name: 'postgres'
       static_configs:
         - targets: ['postgres:9187']  # 假设Postgres已配置Prometheus exporter
   

3. 启动容器后，通过http://<容器IP>:9090访问Prometheus Web UI，使用PromQL查询指标

注意事项

• 生产环境中建议配合持久化存储使用，并配置适当的STORAGE_RETENTION以控制磁盘占用
• 如需高可用部署，可结合Prometheus联邦或远程存储（如Thanos）实现
• 配置文件需根据实际Astronomer平台组件拓扑进行调整，确保所有关键组件均被纳入监控范围