flowminder/flowetl

Flowminder Airflow 镜像文档

概述

Flowminder Airflow镜像是基于Apache Airflow构建的Docker镜像，专为工作流编排与任务调度设计。Apache Airflow是一款开源的工作流管理平台，支持以代码形式定义、调度和监控复杂工作流（DAGs），广泛应用于数据工程、ETL流程、自动化任务等场景。Flowminder的镜像可能针对特定业务需求进行了预配置或优化，简化部署与使用流程。

核心功能与特性

• DAG驱动的工作流定义：通过Python代码定义有向无环图（DAG），清晰描述任务依赖关系与执行顺序。
• 灵活的调度机制：支持基于时间（如 cron 表达式）、事件触发或外部信号的任务调度，满足多样化执行需求。
• 丰富的执行器支持：兼容 LocalExecutor、CeleryExecutor、KubernetesExecutor 等多种执行模式，适应单机到分布式部署场景。
• 可视化监控与管理：内置Web UI，提供工作流运行状态、任务日志、依赖关系图等可视化功能，便于问题排查与运维。
• 可扩展性：支持自定义操作符（Operator）、钩子（Hook）和传感器（Sensor），适配特定业务系统集成需求。

使用场景与适用范围

• 数据处理管道：编排多个数据处理步骤（如数据采集、清洗、转换、加载），构建端到端数据流水线。
• ETL/ELT流程自动化：定时执行数据抽取、转换、加载任务，确保数据仓库或数据湖的数据更新。
• 定期任务调度：如日志清理、报表生成、API数据同步等周期性任务的自动化执行与监控。
• 复杂依赖任务管理：处理存在多级别依赖关系的任务集合，确保任务按预期顺序执行。
• 科研与分析工作流：编排数据分析脚本、模型训练、结果导出等科研流程，提高可复现性与效率。

使用方法与配置说明

基本部署（单机模式）

使用docker run命令快速启动单机版Airflow服务：

bash
docker run -d \
  --name airflow-flowminder \
  -p 8080:8080 \
  -e AIRFLOW__CORE__EXECUTOR=LocalExecutor \
  -e AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=sqlite:////opt/airflow/airflow.db \
  -e AIRFLOW__WEBSERVER__EXPOSE_CONFIG=True \
  flowminder/airflow:latest \
  airflow standalone

参数说明：

• -p 8080:8080：映射Web UI端口到宿主机。
• AIRFLOW__CORE__EXECUTOR：指定执行器类型（LocalExecutor适用于单机）。
• AIRFLOW__DATABASE__SQL_ALCHEMY_CONN：数据库连接串（默认使用SQLite，生产环境建议使用PostgreSQL/MySQL）。
• AIRFLOW__WEBSERVER__EXPOSE_CONFIG：允许在Web UI中查看配置信息。

分布式部署（使用Docker Compose）

推荐使用docker-compose管理多容器部署（含Webserver、Scheduler、Worker、数据库等组件）。以下为基础配置示例：

yaml
# docker-compose.yml
version: '3.8'
services:
  postgres:
    image: postgres:13
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

  airflow-webserver:
    image: flowminder/airflow:latest
    depends_on:
      - postgres
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__FERNET_KEY: ""  # 需替换为实际生成的Fernet密钥
    ports:
      - "8080:8080"
    command: webserver

  airflow-scheduler:
    image: flowminder/airflow:latest
    depends_on:
      - postgres
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__FERNET_KEY: ""  # 与webserver一致
    command: scheduler

  airflow-worker:
    image: flowminder/airflow:latest
    depends_on:
      - postgres
    environment:
      AIRFLOW__CORE__EXECUTOR: CeleryExecutor
      AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CELERY__BROKER_URL: redis://redis:6379/0
      AIRFLOW__CORE__FERNET_KEY: ""  # 与webserver一致
    command: celery worker

  redis:
    image: redis:latest
    ports:
      - "6379:6379"

volumes:
  postgres-db-volume:

启动步骤：

1. 生成Fernet密钥（用于加密连接信息）：

   bash
   python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())"
   

2. 将生成的密钥替换docker-compose.yml中的AIRFLOW__CORE__FERNET_KEY值。
3. 启动服务：

   bash
   docker-compose up -d
   

关键配置参数

持久化数据

为避免容器重启后数据丢失，建议挂载以下目录：

• DAG文件目录：-v /path/to/local/dags:/opt/airflow/dags
• 日志目录：-v /path/to/local/logs:/opt/airflow/logs
• 配置文件目录：-v /path/to/local/config:/opt/airflow/config

例如，修改docker run命令添加挂载：

bash
docker run -d \
  --name airflow-flowminder \
  -p 8080:8080 \
  -v ./dags:/opt/airflow/dags \
  -v ./logs:/opt/airflow/logs \
  -v ./config:/opt/airflow/config \
  -e AIRFLOW__CORE__EXECUTOR=LocalExecutor \
  flowminder/airflow:latest \
  airflow standalone

注意事项

• 生产环境建议：避免使用SQLite作为数据库（不支持并发写入），推荐PostgreSQL或MySQL；使用CeleryExecutor或KubernetesExecutor实现分布式部署。
• 安全配置：生产环境需设置Web UI认证（如AIRFLOW__WEBSERVER__AUTHENTICATE），并定期轮换Fernet密钥。
• 资源配置：根据任务复杂度调整容器CPU/内存资源，避免因资源不足导致任务失败。