cfg404/airflow

docker-airflow

本仓库包含https://github.com/apache/incubator-airflow%E7%9A%84Dockerfile%EF%BC%8C%E7%94%A8%E4%BA%8EDocker%E8%87%AA%E5%8A%A8%E5%8C%96%E6%9E%84%E5%BB%BA%E5%B9%B6%E5%8F%91%E5%B8%83%E8%87%B3Docker Hub公共 registry。

镜像版本信息

• Airflow版本：1.10.3
• Python版本：3.7-slim
• 额外集成：puckel/docker-airflow仓库的#349和#299 PR内容

核心功能

1. 支持多种执行器：SequentialExecutor、CeleryExecutor、KubernetesExecutor
2. 构建时可自定义安装Airflow额外依赖（如datadog、dask）与Python包
3. 通过环境变量配置Airflow所有参数（遵循AIRFLOW__<section>__<key>格式）
4. 支持挂载自定义插件与requirements.txt安装依赖
5. 集成Git仓库拉取DAG文件功能

使用场景

• 数据管道的自动化调度与监控
• ETL流程的编排与执行
• 定时任务的管理与运行
• 基于Kubernetes的分布式工作流执行

部署与配置示例

拉取镜像

bash
docker pull cfg404/airflow:latest

构建镜像（带自定义依赖）

bash
# 安装Airflow额外依赖
docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" -t cfg404/airflow .  
# 安装Python依赖  
docker build --rm --build-arg PYTHON_DEPS="flask_oauthlib>=0.9" -t cfg404/airflow .  
# 组合安装  
docker build --rm --build-arg AIRFLOW_DEPS="datadog,dask" --build-arg PYTHON_DEPS="flask_oauthlib>=0.9" -t cfg404/airflow .  

运行Webserver（默认SequentialExecutor）

bash
docker run -d -p 8080:8080 cfg404/airflow webserver

配置KubernetesExecutor

需设置以下环境变量（示例）：

bash
AIRFLOW__CORE__FERNET_KEY: <你的fernet密钥>  
AIRFLOW__CORE__EXECUTOR: KubernetesExecutor  
AIRFLOW__CORE__DAGS_FOLDER: /dags  
AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://username:password@host:5432/dbname  
AIRFLOW__KUBERNETES__GIT_REPO: https://github.com/your-user/dags-repo.git/  

自定义插件安装

1. 创建plugins/文件夹并放入自定义插件
2. 挂载到容器：-v $(pwd)/plugins/:/usr/local/airflow/plugins

运行其他Airflow命令

bash
# 列出DAGs  
docker run --rm -ti cfg404/airflow airflow list_dags  
# 进入bash终端  
docker run --rm -ti cfg404/airflow bash  

KubernetesPodOperator示例DAG

python
import datetime

from airflow import models
from airflow.contrib.operators import kubernetes_pod_operator

YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

# 若Pod启动失败或容器内发生错误，Airflow会标记任务为失败并保留日志用于调试
with models.DAG(
        dag_id='myDag',
        schedule_interval=datetime.timedelta(days=1),
        start_date=YESTERDAY) as dag:
    kubernetes_min_pod = kubernetes_pod_operator.KubernetesPodOperator(
        task_id='myPod',
        name='myPod',
        cmds=['echo'],
        namespace='<airflow运行的命名空间>',
        image='ubuntu:latest',
        service_account_name="<k8s服务账号名>",
        in_cluster=True,
    )

UI链接

• Airflow控制台：localhost:8080
• Flower监控：localhost:5555

贡献指南

欢迎Fork仓库、改进代码并提交PR！