cerebriai/docker-airflow

docker-airflow

镜像概述和主要用途

本镜像包含Apache Airflow的Dockerfile，用于Docker的自动化构建并发布到公共Docker Hub Registry。Apache Airflow是一个开源的工作流调度系统，可用于编排和监控复杂的计算工作流。

核心功能和特性

• 基于Python官方镜像python:3.6-slim构建
• 使用官方Postgres作为后端数据库
• 使用Redis作为任务队列
• 支持三种执行器：SequentialExecutor、LocalExecutor和CeleryExecutor
• 可通过环境变量配置Airflow所有参数
• 支持自定义插件和Python依赖包
• 便于水平扩展Celery工作节点

信息

• 基础镜像：Python (3.6-slim) 官方镜像 https://hub.docker.com/_/python/
• 依赖服务：官方Postgres和Redis
• 需安装：Docker 和 Docker Compose
• 遵循Airflow的Python Package Index发布版本

安装

从Docker仓库拉取镜像：

bash
docker pull puckel/docker-airflow

构建

可选择在构建时安装额外的Airflow包和/或Python依赖：

bash
# 仅安装Airflow额外包
docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" -t puckel/docker-airflow .

# 仅安装Python依赖
docker build --rm --build-arg PYTHON_DEPS="flask_oauthlib>=0.9" -t puckel/docker-airflow .

# 同时安装两者
docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" --build-arg PYTHON_DEPS="flask_oauthlib>=0.9" -t puckel/docker-airflow .

构建后需更新docker-compose文件中的镜像为puckel/docker-airflow:latest。

使用方法

默认执行器 (SequentialExecutor)

默认情况下，docker-airflow使用SequentialExecutor运行Airflow：

bash
docker run -d -p 8080:8080 puckel/docker-airflow webserver

其他执行器

如需使用其他执行器，可使用仓库中提供的docker-compose文件：

LocalExecutor：

bash
docker-compose -f docker-compose-LocalExecutor.yml up -d

CeleryExecutor：

bash
docker-compose -f docker-compose-CeleryExecutor.yml up -d

加载示例DAGs

默认不加载示例DAGs，如需加载，需设置环境变量LOAD_EX=y：

bash
docker run -d -p 8080:8080 -e LOAD_EX=y puckel/docker-airflow

配置数据库连接

如需使用即席查询(Ad hoc query)，需配置连接：

1. 进入Admin -> Connections
2. 编辑"postgres_default"，设置以下值：
   • Host: postgres
   • Schema: airflow
   • Login: airflow
   • Password: airflow

加密连接密码

在Local或Celery Executor中使用加密连接密码时，需确保所有容器使用相同的fernet_key。默认情况下，docker-airflow在启动时生成fernet_key，可通过以下命令生成自定义fernet_key：

bash
docker run puckel/docker-airflow python -c "from cryptography.fernet import Fernet; FERNET_KEY = Fernet.generate_key().decode(); print(FERNET_KEY)"

生成后，在docker-compose文件中设置该环境变量以确保所有容器使用相同的key。

配置Airflow

可通过环境变量设置Airflow的任何配置值，环境变量将覆盖airflow.cfg中的值。

环境变量命名规则为AIRFLOW__<section>__<key>，例如：

• AIRFLOW__CORE__SQL_ALCHEMY_CONN 设置[core]部分的sql_alchemy_conn配置项

详细配置说明参见Airflow文档

定义连接

可通过环境变量定义连接，前缀为AIRFLOW_CONN_，例如：

AIRFLOW_CONN_POSTGRES_MASTER=postgres://user:password@localhost:5432/master

此环境变量定义了名为"postgres_master"的连接，值解析为URI格式。

自定义Airflow插件

Airflow支持自定义插件，通常存放在${AIRFLOW_HOME}/plugins文件夹中。插件文档参见此处

要将自定义插件集成到容器中：

1. 创建plugins/文件夹并添加自定义插件
2. 通过以下方式挂载该文件夹：
   • 命令行挂载：-v $(pwd)/plugins/:/usr/local/airflow/plugins
   • 使用docker-compose-LocalExecutor.yml或docker-compose-CeleryExecutor.yml，这些文件已支持插件文件夹挂载

安装自定义Python包

1. 创建requirements.txt文件，列出所需的Python模块
2. 将该文件挂载为卷：-v $(pwd)/requirements.txt:/requirements.txt（或在docker-compose文件中添加卷配置）
3. entrypoint.sh脚本将自动执行pip install命令（带--user选项）

UI链接

• Airflow Web界面：localhost:8080
• Flower监控界面（CeleryExecutor）：localhost:5555

扩展工作节点数量

使用docker-compose轻松扩展：

bash
docker-compose -f docker-compose-CeleryExecutor.yml scale worker=5

此方法可用于在Docker Swarm中实现多节点扩展。

运行其他Airflow命令

如需运行其他Airflow子命令（如list_dags或clear），可按以下方式执行：

bash
# 直接运行
docker run --rm -ti puckel/docker-airflow airflow list_dags

# 使用docker-compose
docker-compose -f docker-compose-CeleryExecutor.yml run --rm webserver airflow list_dags

也可使用此方式运行 bash shell 或其他命令：

bash
docker run --rm -ti puckel/docker-airflow bash
docker run --rm -ti puckel/docker-airflow ipython