Airflow StatsD-Prometheus 桥接镜像

镜像概述

本镜像提供Airflow statsd指标与Prometheus监控系统之间的桥接功能，旨在解决Airflow原生statsd指标无法直接被Prometheus采集的问题。通过接收Airflow发送的statsd格式指标，转换为Prometheus兼容的指标格式并暴露指标端点，实现Airflow运行指标与Prometheus监控体系的无缝集成。

核心功能与特性

• 协议转换：支持标准statsd协议，接收Airflow发送的指标数据并转换为Prometheus兼容格式
• 指标暴露：提供Prometheus原生metrics端点，支持Prometheus自动发现与指标采集
• 配置灵活：支持自定义指标前缀、标签映射及端口配置，适配不同监控场景需求
• 轻量高效：基于轻量级运行时构建，资源占用低，适合容器化部署环境

使用场景

• 采用Airflow进行工作流编排且使用Prometheus作为核心监控系统的企业环境
• 需要将Airflow任务执行状态、资源消耗等指标纳入统一监控平台的场景
• 需对Airflow集群进行精细化监控（如任务成功率、调度延迟、worker负载）的场景

使用方法

基本部署（Docker Run）

docker run -d \
  --name airflow-statsd-bridge \
  -p 8125:8125/udp \  # StatsD接收端口（与Airflow statsd配置一致）
  -p 9091:9091/tcp \   # Prometheus指标暴露端口
  -e STATSD_LISTEN_ADDR=0.0.0.0:8125 \
  -e PROMETHEUS_LISTEN_ADDR=0.0.0.0:9091 \
  -e METRIC_PREFIX=airflow_ \
  your-registry/airflow-statsd-prometheus-bridge:latest

Docker Compose 配置

version: '3.8'
services:
  statsd-bridge:
    image: your-registry/airflow-statsd-prometheus-bridge:latest
    ports:
      - "8125:8125/udp"
      - "9091:9091/tcp"
    environment:
      - STATSD_LISTEN_ADDR=0.0.0.0:8125
      - PROMETHEUS_LISTEN_ADDR=0.0.0.0:9091
      - METRIC_PREFIX=airflow_prod_
      - ENABLE_LABELS=true
    restart: unless-stopped

环境变量配置

Airflow 配置调整

需在Airflow配置文件（airflow.cfg）中设置statsd相关参数，指向本桥接服务：

[metrics]
statsd_on = True
statsd_host = statsd-bridge  # 容器名称或服务IP
statsd_port = 8125           # 与桥接服务STATSD_LISTEN_ADDR端口一致
statsd_prefix = airflow      # 建议与桥接服务METRIC_PREFIX保持一致

指标验证

部署后可通过以下方式验证：

1. 检查Prometheus端点是否正常：
   curl http://<bridge-ip>:9091/metrics

2. 在Prometheus UI中查询Airflow相关指标（如airflow_task_success_total）

3. 确认Airflow任务执行后指标是否实时更新