热门搜索:
yieldr/airflow
自动构建
yieldr
基于puckel/docker-airflow修改的Airflow镜像，添加MySQL、AWS、Flower等扩展包，适配MySQL和Redis作为后端（替代Postgres和RabbitMQ），支持Prometheus监控，适用于数据工作流调度与管理。
1 次收藏下载次数: 0状态：自动构建维护者：yieldr仓库类型：镜像最近更新：7 年前
Airflow 镜像文档
镜像概述
本镜像基于 puckel/docker-airflow 修改，扩展了额外功能和依赖包，旨在提供更灵活的Airflow部署选项。主要适配了MySQL作为后端数据库和Redis作为消息队列，替代了原镜像默认的Postgres和RabbitMQ，并集成了AWS工具、Flower监控等扩展组件，同时支持Prometheus监控集成。
核心功能与特性
- 扩展依赖集成：添加了MySQL驱动、AWS SDK、Flower（Airflow监控工具）等额外包，满足多场景需求
- 后端适配：
entripoint.sh配置脚本已适配MySQL数据库和Redis消息队列，替代原有的Postgres和RabbitMQ - Prometheus监控支持：集成Prometheus Exporter（使用
epoch8/airflow-exporterv0.2版本），可通过解压Exporter实现监控指标暴露
使用场景与适用范围
- 需要使用MySQL作为Airflow元数据库的部署场景
- 需采用Redis作为消息队列的Airflow集群
- 需要集成AWS服务（如S3、EC2等）的数据工作流调度
- 需要通过Flower进行任务监控和管理的场景
- 需要Prometheus监控Airflow指标的运维需求
使用方法与配置说明
基本部署
Docker Run 示例
bashdocker run -d \ -p 8080:8080 \ # Airflow Web UI端口 -p 5555:5555 \ # Flower监控端口 -e AIRFLOW__CORE__EXECUTOR=CeleryExecutor \ -e AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=mysql+mysqlconnector://user:password@mysql-host:3306/airflow \ -e AIRFLOW__CELERY__BROKER_URL=redis://redis-host:6379/0 \ --name airflow-custom \ [镜像名称]
关键环境变量配置
| 环境变量 | 说明 | 示例值 |
|---|---|---|
AIRFLOW__CORE__EXECUTOR | 执行器类型，推荐使用CeleryExecutor | CeleryExecutor |
AIRFLOW__DATABASE__SQL_ALCHEMY_CONN | MySQL数据库连接串 | mysql+mysqlconnector://user:password@mysql-host:3306/airflow |
AIRFLOW__CELERY__BROKER_URL | Redis消息队列连接串 | redis://redis-host:6379/0 |
Prometheus Exporter配置
- 启动容器后，执行以下命令解压Prometheus Exporter：
bash
docker exec -it airflow-custom unzip prometheus_exporter - Exporter默认使用
epoch8/airflow-exporterv0.2版本，解压后监控指标可通过http://<容器IP>:9112/metrics访问
初始化数据库
首次启动需初始化Airflow数据库：
bashdocker exec -it airflow-custom airflow db init
更多相关 Docker 镜像与资源
以下是 yieldr/airflow 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- apache/airflow Docker 镜像说明（Apache Airflow，工作流调度平台）
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull yieldr/airflow:<标签>
更多 airflow 镜像推荐
apache/airflow
Apache 软件基金会镜像
Apache Airflow是一个开源的工作流编排平台，旨在通过编程方式（主要使用Python）定义、调度和监控复杂工作流，它以有向无环图（DAG）形式管理任务依赖关系，支持灵活的调度策略（如基于时间、事件或依赖），提供直观的Web界面用于任务状态监控与管理，具备高度可扩展性，可集成多种数据处理工具、云服务及外部系统，广泛应用于数据管道构建、ETL流程自动化、机器学习工作流编排等场景，帮助用户高效管理和执行复杂的任务流程。
626 次收藏10亿+ 次下载
1 个月前更新
bitnamicharts/airflow
bitnamicharts
Bitnami提供的Apache Airflow Helm chart，用于在Kubernetes环境中便捷部署和管理工作流编排平台。
5 次收藏100万+ 次下载
9 个月前更新
localstack/airflow
localstack
Custom builds of Airflow for use with LocalStack
8.2千+ 次下载
4 个月前更新
opensourcemano/airflow
opensourcemano
该Docker镜像包含ETSI OSM项目软件及基础发行版的Bash等依赖组件，遵循OSM软件许可证，适用于OSM相关应用的运行与开发。
10万+ 次下载
13 天前更新
ubuntu/airflow
Ubuntu 官方镜像
基于Ubuntu的Apache Airflow Docker镜像，提供工作流管理平台，用于数据工程管道的程序化创作、调度和监控。
1.8千+ 次下载
20 天前更新
bitnami/airflow
Bitnami Secure Images（VMware Tanzu）
Bitnami Airflow 安全镜像
78 次收藏1000万+ 次下载
9 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
轩辕镜像支持 docker push 上传本地镜像吗？
不支持 push
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"