potiuk/airflow

Apache Airflow Docker镜像文档

镜像概述

Apache Airflow（简称Airflow）是一个开源平台，用于以代码方式定义、调度和监控工作流。通过Docker镜像部署Airflow可简化环境配置，实现快速启动和扩展。该镜像基于官方稳定版本构建，包含Airflow核心组件及必要依赖，支持多种执行器和数据库后端，适用于开发、测试和生产环境的工作流管理。

核心功能与特性

核心能力

• 工作流即代码：以Python定义有向无环图(DAG)，支持版本控制、测试和协作
• 灵活调度：基于依赖关系和时间规则自动调度任务执行
• 多执行器支持：包括LocalExecutor、CeleryExecutor、KubernetesExecutor等
• 丰富监控：通过Web UI实时查看任务状态、执行历史和性能指标

关键特性

• 动态管道生成：支持通过Python代码动态创建工作流
• 高度可扩展：可自定义操作器(Operator)、执行器(Executor)和钩子(Hook)
• Jinja模板支持：内置Jinja模板引擎，实现任务参数化
• 模块化架构：通过消息队列协调多个工作节点，支持水平扩展
• XCom功能：允许任务间传递元数据，实现任务通信

适用场景

主要应用领域

• 数据处理管道：ETL/ELT流程自动化、数据清洗与转换
• 定期任务调度：报表生成、日志处理、系统维护等周期性任务
• 复杂工作流编排：多步骤依赖任务管理，如机器学习训练流程
• 批处理数据处理：从流数据源（如Kafka）批量拉取和处理数据

不适用场景

• 实时流处理：非流处理解决方案，建议用于批处理场景
• 大量数据传递：任务间不建议传递大量数据，推荐使用外部存储

环境要求

支持的版本

注意：MySQL 5.x版本在多调度器模式下存在限制；不推荐使用MariaDB；SQLite仅用于测试环境。

使用方法

快速启动（单节点模式）

1. 初始化数据库

   bash
   docker run --rm -v ./dags:/opt/airflow/dags apache/airflow:latest airflow db init
   

2. 创建管理员用户

   bash
   docker run --rm -v ./dags:/opt/airflow/dags apache/airflow:latest airflow users create \
     --username admin \
     --password admin \
     --firstname Admin \
     --lastname User \
     --role Admin \
     --email admin@example.com
   

3. 启动Web服务器

   bash
   docker run -d -p 8080:8080 -v ./dags:/opt/airflow/dags --name airflow-webserver apache/airflow:latest webserver
   

4. 启动调度器

   bash
   docker run -d -v ./dags:/opt/airflow/dags --name airflow-scheduler apache/airflow:latest scheduler
   

访问 http://localhost:8080 即可打开Airflow Web UI，使用创建的管理员账号登录。

Docker Compose部署（推荐生产环境）

创建docker-compose.yml文件：

yaml
version: '3.8'
services:
  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U airflow"]
      interval: 5s
      retries: 5

  airflow-webserver:
    image: apache/airflow:latest
    depends_on:
      postgres:
        condition: service_healthy
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
    ports:
      - "8080:8080"
    command: webserver

  airflow-scheduler:
    image: apache/airflow:latest
    depends_on:
      postgres:
        condition: service_healthy
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
    command: scheduler

  airflow-worker:
    image: apache/airflow:latest
    depends_on:
      postgres:
        condition: service_healthy
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
    command: celery worker

  redis:
    image: redis:latest
    ports:
      - "6379:6379"
    healthcheck:
      test: ["CMD", "redis-cli", "ping"]
      interval: 5s
      timeout: 30s
      retries: 50

volumes:
  postgres-db-volume:

启动服务：

bash
docker-compose up -d

配置参数与环境变量

常用环境变量配置：

用户界面

Airflow提供直观的Web UI，主要功能视图包括：

• DAGs视图：展示所有工作流的状态概览，支持启用/禁用DAG
• Tree View：以时间轴树状图展示DAG执行历史
• Graph View：可视化DAG任务依赖关系及当前运行状态
• Task Duration：任务执行时间趋势图表
• Gantt View：任务执行时间线与重叠情况分析
• Code View：快速查看DAG定义代码

扩展与定制

• 安装额外依赖：通过Dockerfile扩展基础镜像，安装特定 providers（如apache-airflow-providers-amazon）
• 自定义配置：挂载airflow.cfg文件覆盖默认配置
• 外部集成：支持与AWS、GCP、Azure等云服务，以及Hadoop、Spark等大数据平台集成

相关链接

• 官方文档
• https://hub.docker.com/r/apache/airflow
• https://github.com/apache/airflow
• Slack社区