madlan/airflow-base

Airflow基础公共镜像

镜像概述

该镜像为Apache Airflow的基础公共镜像，基于官方推荐的操作系统和依赖版本构建，提供运行Airflow所需的核心依赖环境和基础配置。作为构建自定义Airflow镜像的底层基础，它标准化了Airflow运行环境，简化了自定义镜像的构建流程，确保环境一致性和稳定性。

核心功能和特性

• 预安装核心组件：包含Airflow运行所需的核心Python包、依赖库及基础工具，无需手动配置基础依赖。
• 标准化基础环境：基于官方指定的基础镜像（如Debian/Ubuntu）构建，遵循Airflow官方环境配置规范，确保跨环境一致性。
• 多版本支持：提供针对不同Airflow版本的镜像标签（如2.8.0、2.7.3等），适配不同版本Airflow的功能需求。
• 轻量级设计：优化镜像层结构，移除不必要的依赖和文件，减小镜像体积，提升部署和拉取效率。
• 兼容性良好：兼容Airflow官方推荐的各类扩展插件（如CeleryExecutor、KubernetesExecutor）及数据库后端（如PostgreSQL、MySQL）。

使用场景和适用范围

• 自定义Airflow镜像构建：作为基础镜像，通过Dockerfile扩展添加项目特定依赖、自定义插件、配置文件等，构建符合业务需求的定制化Airflow镜像。
• 开发与测试环境：快速搭建本地开发或测试环境，验证Airflow DAG定义、任务逻辑及依赖配置，缩短开发周期。
• 基础环境部署：在对定制化需求较低的场景（如演示、简单任务调度）中，可直接作为基础Airflow环境部署使用。

使用方法和配置说明

直接运行镜像

通过docker run命令可快速启动镜像并验证基础环境：

bash
# 查看Airflow版本
docker run --rm <镜像名称>:<标签> airflow version

# 启动Airflow命令行交互
docker run --rm -it <镜像名称>:<标签> bash

构建自定义镜像

通过Dockerfile基于该基础镜像构建自定义镜像，添加额外依赖或配置：

dockerfile
# 基于Airflow基础镜像
FROM <镜像名称>:2.8.0

# 安装额外Python依赖
RUN pip install --no-cache-dir pandas==2.1.0 requests==2.31.0

# 添加自定义配置文件
COPY airflow.cfg /opt/airflow/airflow.cfg

# 设置工作目录
WORKDIR /opt/airflow

构建命令：

bash
docker build -t custom-airflow:latest .

Docker Compose部署示例

使用docker-compose.yml快速部署基础Airflow环境（需配合数据库等服务）：

yaml
version: '3.8'
services:
  airflow-base:
    image: <镜像名称>:2.8.0
    environment:
      - AIRFLOW_HOME=/opt/airflow
      - AIRFLOW__CORE__EXECUTOR=LocalExecutor
      - AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow
    volumes:
      - ./dags:/opt/airflow/dags
      - ./logs:/opt/airflow/logs
    depends_on:
      - postgres

  postgres:
    image: postgres:14
    environment:
      - POSTGRES_USER=airflow
      - POSTGRES_PASSWORD=airflow
      - POSTGRES_DB=airflow
    volumes:
      - postgres-db-volume:/var/lib/postgresql/data

volumes:
  postgres-db-volume:

启动命令：

bash
docker-compose up -d

环境变量说明

该镜像支持通过环境变量配置基础Airflow参数，常用变量如下：

更多环境变量可参考Airflow官方文档中的配置说明。