rierino/airflow

Airflow 集成镜像（含Spark、Kubernetes和etcd）

镜像概述

本镜像基于Apache Airflow构建，预集成了Spark、Kubernetes和etcd库，旨在简化需要大数据处理、容器编排及分布式协调能力的工作流部署与运行。通过整合这些工具，用户可直接构建端到端的数据处理和任务调度系统，无需手动配置依赖环境。

核心功能与特性

• Airflow工作流管理：提供完整的Airflow功能，支持DAG定义、任务调度、监控和告警
• Spark集成：内置Spark客户端库，支持在Airflow任务中提交Spark作业，处理大规模数据集
• Kubernetes支持：包含Kubernetes Python客户端，可直接在Airflow DAG中操作Kubernetes资源，实现容器化任务调度
• etcd协调能力：集成etcd客户端，支持分布式系统中的配置管理和服务发现

使用场景

• 数据处理与分析工作流：结合Airflow的调度能力和Spark的计算能力，构建批处理或流处理数据管道
• 容器化应用任务调度：通过Kubernetes集成，在Airflow中管理和调度容器化应用任务
• 分布式系统协调：利用etcd实现跨节点的配置同步和服务协调，支持分布式工作流场景

使用方法

基本运行命令

bash
docker run -d \
  -p 8080:8080 \
  -v ./dags:/opt/airflow/dags \
  -v ./logs:/opt/airflow/logs \
  --name airflow-spark-k8s-etcd \
  [镜像名称]:[标签]

环境变量配置

Docker Compose示例

yaml
version: '3.8'

services:
  airflow:
    image: [镜像名称]:[标签]
    ports:
      - "8080:8080"
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
      - ./plugins:/opt/airflow/plugins
      - ~/.kube/config:/root/.kube/config  # 挂载Kubernetes配置
    environment:
      - AIRFLOW__CORE__EXECUTOR=LocalExecutor
      - AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres:5432/airflow
      - AIRFLOW__WEBSERVER__EXPOSE_CONFIG=True
    depends_on:
      - postgres

  postgres:
    image: postgres:13
    environment:
      - POSTGRES_USER=airflow
      - POSTGRES_PASSWORD=airflow
      - POSTGRES_DB=airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

volumes:
  postgres-db-volume:

初始化与启动

1. 初始化Airflow数据库：

   bash
   docker exec -it airflow-spark-k8s-etcd airflow db init
   

2. 创建管理员用户：

   bash
   docker exec -it airflow-spark-k8s-etcd airflow users create \
     --username admin \
     --password admin \
     --firstname Admin \
     --lastname User \
     --role Admin \
     --email admin@example.com
   

3. 启动Web服务器和调度器：

   bash
   docker exec -d airflow-spark-k8s-etcd airflow webserver
   docker exec -d airflow-spark-k8s-etcd airflow scheduler
   

访问 http://localhost:8080 即可打开Airflow Web界面，开始创建包含Spark、Kubernetes或etcd操作的DAG工作流。