pbweb/airflow-prometheus-exporter
pbweb
从MySQL/PostgreSQL收集Airflow指标并以Prometheus格式导出。
3 次收藏下载次数: 0状态：社区镜像维护者：pbweb仓库类型：镜像最近更新：11 个月前
Airflow Prometheus Exporter 镜像文档
镜像概述和主要用途
Airflow Prometheus Exporter是一款用于从MySQL或PostgreSQL数据库收集Apache Airflow指标，并以Prometheus兼容格式导出的工具镜像。通过该镜像，用户可便捷地将Airflow的运行指标集成到Prometheus监控系统中，实现对Airflow任务执行状态、资源使用等关键指标的监控与分析。
核心功能和特性
- 多数据库支持：兼容MySQL和PostgreSQL作为Airflow元数据库后端
- 灵活配置：通过环境变量进行参数配置，支持自定义数据库连接信息
- 安全连接：针对PostgreSQL数据库提供SSL模式配置，保障数据传输安全
- 标准输出：以Prometheus标准格式暴露指标，可直接被Prometheus抓取
使用场景和适用范围
- 监控Airflow实例的运行状态和性能指标
- 集成到Prometheus+Grafana监控体系，实现Airflow指标可视化
- 构建Airflow任务执行告警机制，及时发现任务失败、延迟等异常情况
- 适用于需要对Airflow集群进行精细化监控和运维的场景
配置说明
环境变量配置（默认值）
可通过以下环境变量配置 exporter，默认值如下：
AIRFLOW_PROMETHEUS_LISTEN_ADDR=:9112 # 监听地址和端口 AIRFLOW_PROMETHEUS_DATABASE_BACKEND=mysql # 数据库后端类型（mysql/postgres） AIRFLOW_PROMETHEUS_DATABASE_HOST=localhost # 数据库主机地址 AIRFLOW_PROMETHEUS_DATABASE_PORT=3306 # 数据库端口 AIRFLOW_PROMETHEUS_DATABASE_USER=airflow # 数据库用户名 AIRFLOW_PROMETHEUS_DATABASE_PASSWORD=airflow # 数据库密码 AIRFLOW_PROMETHEUS_DATABASE_NAME=airflow # 数据库名称
PostgreSQL SSL配置
当使用PostgreSQL数据库时，可通过以下环境变量启用和配置SSL连接：
AIRFLOW_PROMETHEUS_POSTGRES_SSL_MODE=verify-full # SSL模式 AIRFLOW_PROMETHEUS_POSTGRES_SSL_CERT=/path/to/certificate # 客户端证书路径 AIRFLOW_PROMETHEUS_POSTGRES_SSL_KEY=/path/to/key # 客户端密钥路径 AIRFLOW_PROMETHEUS_POSTGRES_SSL_ROOT_CERT=/path/to/root_cert # 根证书路径
使用方法
Docker 直接运行
bashdocker run -p 9112:9112 pbweb/airflow-prometheus-exporter
Docker Compose 配置
yamlservices: airflow-prometheus-exporter: image: pbweb/airflow-prometheus-exporter restart: always environment: - "AIRFLOW_PROMETHEUS_DATABASE_HOST=mysql.airflow.lan" # 自定义数据库主机地址 - "AIRFLOW_PROMETHEUS_DATABASE_BACKEND=mysql" # 指定数据库类型（mysql/postgres） - "AIRFLOW_PROMETHEUS_DATABASE_PORT=3306" # 数据库端口 - "AIRFLOW_PROMETHEUS_DATABASE_USER=custom_user" # 数据库用户名 - "AIRFLOW_PROMETHEUS_DATABASE_PASSWORD=custom_password" # 数据库密码 ports: - "9112:9112" # 映射指标暴露端口
源码地址
更多详情和源码请访问：https://github.com/PBWebMedia/airflow-prometheus-exporter
nginx/nginx-prometheus-exporter
NGINX 官方镜像
NGINX Prometheus Exporter用于收集并导出NGINX与NGINX Plus的监控指标，供Prometheus采集以实现对其运行状态的监控。
51 次收藏5000万+ 次下载
1 个月前更新
rancher/mirrored-prometheus-node-exporter
rancher
暂无描述
1 次收藏5000万+ 次下载
6 个月前更新
bitnami/airflow
Bitnami Secure Images（VMware Tanzu）
Bitnami Airflow 安全镜像
78 次收藏1000万+ 次下载
7 个月前更新
apache/airflow
Apache 软件基金会镜像
Apache Airflow是一个开源的工作流编排平台，旨在通过编程方式（主要使用Python）定义、调度和监控复杂工作流，它以有向无环图（DAG）形式管理任务依赖关系，支持灵活的调度策略（如基于时间、事件或依赖），提供直观的Web界面用于任务状态监控与管理，具备高度可扩展性，可集成多种数据处理工具、云服务及外部系统，广泛应用于数据管道构建、ETL流程自动化、机器学习工作流编排等场景，帮助用户高效管理和执行复杂的任务流程。
625 次收藏10亿+ 次下载
11 天前更新
bitnami/redis-exporter
Bitnami Secure Images（VMware Tanzu）
Bitnami安全镜像，集成redis-exporter工具，用于安全导出Redis监控指标。
16 次收藏1亿+ 次下载
11 天前更新
bitnami/jmx-exporter
Bitnami Secure Images（VMware Tanzu）
Bitnami提供的安全镜像，用于运行jmx-exporter以导出JMX指标，适用于Java应用监控场景。
8 次收藏1000万+ 次下载
12 天前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"