email2liyang/docker-airflow Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

airflow-kubernetes

镜像概述

airflow-kubernetes是一个用于在Kubernetes环境中部署Apache Airflow的Docker镜像，支持LocalExecutor和CeleryExecutor两种执行模式。该镜像基于puckel/docker-airflow项目修改，针对Kubernetes环境进行了适配优化，提供更灵活的初始化机制和组件配置。

核心功能与特性

• 多执行器支持：同时支持LocalExecutor和CeleryExecutor，满足不同规模的工作流需求
• 后端与消息队列：使用MySQL作为元数据存储后端（替代默认的PostgreSQL），RabbitMQ作为消息代理（替代默认的PostgreSQL）
• 灵活初始化机制：
  • 提供SystemV风格的init脚本：用户可将脚本复制到容器内/usr/local/airflow/config/init/目录，在webserver启动前执行，适用于初始化Airflow变量、连接等
  • 提供SystemV风格的super-init脚本：用户可将脚本复制到容器内/usr/local/airflow/config/super-init/目录，在webserver启动前以root用户执行，适用于需要root权限的初始化操作（如修改/etc/hosts）
• CeleryExecutor增强：集成Flower工具，用于监控Celery任务状态

使用场景与适用范围

• 需要在Kubernetes集群中部署和运行Apache Airflow的场景
• 需根据工作负载规模灵活选择LocalExecutor（小规模）或CeleryExecutor（大规模分布式）的场景
• 需要自定义初始化流程（如预设Airflow变量、连接信息或系统级配置）的Airflow部署需求

使用方法与配置说明

前置准备

1. Kubernetes环境：确保已安装Kubernetes集群，推荐使用minikube进行本地测试，安装方法参考minikube官方文档

部署步骤

使用LocalExecutor部署

bash
kubectl apply -f KubernetesLocalExecutor.yaml

使用CeleryExecutor部署

bash
kubectl apply -f KubernetesCeleryExecutor.yaml

初始化脚本使用

init脚本（普通用户权限）

1. 创建初始化脚本（如初始化Airflow变量）
2. 将脚本复制到容器内/usr/local/airflow/config/init/目录
3. 容器启动时会自动按顺序执行该目录下的脚本

super-init脚本（root用户权限）

1. 创建需要root权限的初始化脚本（如修改/etc/hosts）
2. 将脚本复制到容器内/usr/local/airflow/config/super-init/目录
3. 容器启动时会以root用户身份自动执行该目录下的脚本

常见问题（FAQ）

如何在Kubernetes环境中启用实时日志浏览？

通过super-init脚本获取Kubernetes集群中Worker节点的主机名和IP映射，并写入/etc/hosts。示例脚本如下：

1. 创建脚本init_worker_hostnames.sh：

bash
#!/usr/bin/env bash

kubectl get po -n <namespace> -o wide | grep <worker-pod-prefix> | awk '{printf("%s\t%s\n",$6,$1)}' >> /etc/hosts

2. 将脚本复制到容器内/usr/local/airflow/config/super-init/目录
3. 重启Airflow服务后生效

更多使用说明

关于Docker镜像的基础使用方法，请参考puckel/docker-airflow项目文档