apache/airflow
Apache Airflow是一个开源的工作流编排平台，旨在通过编程方式（主要使用Python）定义、调度和监控复杂工作流，它以有向无环图（DAG）形式管理任务依赖关系，支持灵活的调度策略（如基于时间、事件或依赖），提供直观的Web界面用于任务状态监控与管理，具备高度可扩展性，可集成多种数据处理工具、云服务及外部系统，广泛应用于数据管道构建、ETL流程自动化、机器学习工作流编排等场景，帮助用户高效管理和执行复杂的任务流程。
Apache Airflow
Apache Airflow（简称 Airflow）是一个用于可编程地编排、调度和监控工作流的平台。
当工作流以代码形式定义时，其可维护性、可版本化、可测试性和协作性都会显著提升。Airflow 支持将工作流编写为有向无环图（DAG）任务，调度器会根据任务依赖关系，在一组工作节点上执行任务。通过丰富的命令行工具，可轻松对 DAG 进行复杂操作；直观的用户界面则便于可视化生产环境中的任务流水线、监控进度及排查问题。
项目定位
Airflow 最适用于静态且变化缓慢的工作流场景。当 DAG 结构在多次运行中保持一致时，能更清晰地体现工作单元和连续性。类似工具包括 Luigi、Oozie 和 Azkaban。
在数据处理中，Airflow 建议任务应具备幂等性（即任务结果一致，不会在目标系统中产生重复数据），且避免在任务间传递大量数据（但可通过 Airflow 的 XCom 功能传递元数据）。对于高容量、数据密集型任务，最佳实践是委托给专注此类工作的外部服务处理。
Airflow 本身并非流处理解决方案，但常被用于实时数据处理场景——通过批量拉取流数据进行处理。
核心特性
- 动态性：Airflow 流水线基于 Python 代码配置，支持动态生成流水线。可通过代码逻辑灵活实例化不同流水线。
- 可扩展性：支持自定义操作符、执行器，并能扩展库以适配业务环境的抽象层级需求。
- 简洁明确：流水线定义精简且清晰，核心支持通过 Jinja 模板引擎实现脚本参数化，简化配置流程。
- 高可扩展性：采用模块化架构，通过消息队列协调任意数量的工作节点，支持集群规模扩展。
快速开始
如需安装、入门或学习完整教程，可参考 Airflow 官方文档（最新 稳定版）：
- 安装指南
- 快速入门
- 详细教程
关于 Airflow 改进提案（AIPs），可访问 Airflow Wiki。
依赖项目（如提供方包、Docker 镜像、Helm Chart）的文档，可在 文档索引 中查询。
更多相关 Docker 镜像与资源
以下是 apache/airflow 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- library/flink Docker 镜像说明（Apache Flink，流处理和批处理大数据引擎）
- bitnami/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Bitnami 企业级配置）
- library/spark Docker 镜像说明（Apache Spark 大数据处理引擎，官方标准版本）
- apache/spark Docker 镜像说明（Apache Spark 大数据处理引擎，Apache 官方版本）
- bitnami/flink Docker 镜像说明（Apache Flink 流处理引擎，Bitnami 企业级配置）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 版本下载页面。
更多 airflow 镜像推荐
bitnami/airflow
Bitnami Secure Images（VMware Tanzu）
Bitnami Airflow 安全镜像
78 次收藏1000万+ 次下载
7 个月前更新
bitnamicharts/airflow
bitnamicharts
Bitnami提供的Apache Airflow Helm chart，用于在Kubernetes环境中便捷部署和管理工作流编排平台。
5 次收藏100万+ 次下载
7 个月前更新
localstack/airflow
localstack
Custom builds of Airflow for use with LocalStack
7.9千+ 次下载
3 个月前更新
opensourcemano/airflow
opensourcemano
该Docker镜像包含ETSI OSM项目软件及基础发行版的Bash等依赖组件，遵循OSM软件许可证，适用于OSM相关应用的运行与开发。
10万+ 次下载
1 个月前更新
ubuntu/airflow
Ubuntu 官方镜像
基于Ubuntu的Apache Airflow Docker镜像，提供工作流管理平台，用于数据工程管道的程序化创作、调度和监控。
991 次下载
23 天前更新
fikolis/airflow
fikolis
Apache Airflow是开源工作流管理平台，用于编排、调度和监控数据处理流程，支持基于DAG定义任务依赖，适用于ETL、数据分析等自动化任务的可视化管理与执行。
1万+ 次下载
1 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"