puckel/docker-airflow

docker-airflow

镜像概述

本镜像基于Python 3.7-slim-buster官方镜像构建，集成Apache Airflow开源工作流管理平台，使用Postgres作为后端数据库、Redis作为队列服务，支持Docker自动化构建与快速部署。

核心功能

1. 多执行器模式：提供SequentialExecutor（默认）、LocalExecutor、CeleryExecutor三种执行模式，适配不同规模的工作流需求。
2. 灵活配置：通过环境变量（AIRFLOW__<section>__<key>）设置所有Airflow配置项，支持加密连接密码。
3. 扩展能力：可挂载自定义插件目录，安装额外Airflow包或Python依赖，支持Celery Worker横向扩展。
4. 可视化管理：提供Web控制台与Flower监控界面，便于工作流的可视化编排与状态监控。

使用场景

• 数据ETL任务的自动化调度与监控
• 定时任务的统一管理与执行
• 复杂工作流的可视化编排与协作
• 多节点分布式工作流的部署与扩展

配置说明

环境变量配置

通过环境变量设置Airflow参数，示例：

bash
# 数据库连接配置
AIRFLOW__CORE__SQL_ALCHEMY_CONN=postgres://airflow:airflow@postgres:5432/airflow
# Celery Broker配置
AIRFLOW__CELERY__BROKER_URL=redis://redis:6379/1

自定义插件

创建plugins/目录存放插件，通过卷挂载：

bash
docker run -v $(pwd)/plugins:/usr/local/airflow/plugins puckel/docker-airflow

自定义依赖

创建requirements.txt文件，挂载后自动安装：

bash
docker run -v $(pwd)/requirements.txt:/requirements.txt puckel/docker-airflow

部署示例

拉取镜像

bash
docker pull puckel/docker-airflow

启动默认执行器（SequentialExecutor）

bash
docker run -d -p 8080:8080 puckel/docker-airflow webserver

启动LocalExecutor

bash
docker-compose -f docker-compose-LocalExecutor.yml up -d

启动CeleryExecutor

bash
docker-compose -f docker-compose-CeleryExecutor.yml up -d

扩展Celery Worker

bash
docker-compose -f docker-compose-CeleryExecutor.yml scale worker=5

运行Airflow命令（如列出DAG）

bash
docker run --rm -ti puckel/docker-airflow airflow list_dags
# 或通过Compose运行
docker-compose -f docker-compose-CeleryExecutor.yml run --rm webserver airflow list_dags

UI访问

• Airflow控制台：http://localhost:8080
• Flower监控（Celery模式）：http://localhost:5555