stibbons31/kube-airflow

kube-airflow（Celery Executor）

镜像概述

本镜像为https://github.com/mumoshu/kube-airflow%E7%9A%84%E5%88%86%E5%8F%89%E7%89%88%E6%9C%AC%EF%BC%8C%E6%8F%90%E4%BE%9B%E7%94%9F%E4%BA%A7%E7%BA%A7Helm Chart，用于在Kubernetes集群上运行Airflow（Celery Executor）。基于Debian Stretch官方镜像，使用Postgres作为后端、RabbitMQ作为队列，遵循PyPI上的Airflow版本发布。

核心功能

1. 支持手动部署（通过airflow.all.yaml创建K8s资源）和Helm部署（推荐）
2. 提供两种DAGs更新方式：嵌入DAGs到镜像或通过Git-Sync实时同步
3. 允许将airflow.cfg配置为Kubernetes ConfigMap，无需重建镜像即可修改配置
4. Celery Worker使用StatefulSet确保日志可访问性
5. 支持添加自定义Python依赖（通过requirements.txt）

使用场景

• 企业级工作流调度与自动化
• 数据管道ETL任务处理
• 批量任务的分布式执行
• 持续集成/持续部署（CI/CD）流程中的任务编排

配置说明

手动部署

创建所有K8s资源以运行Airflow：

bash
kubectl create -f airflow.all.yaml

将生成以下部署和服务：

• 部署：postgres、rabbitmq、airflow-webserver、airflow-scheduler、airflow-flower、airflow-worker
• 服务：postgres、rabbitmq、airflow-webserver、airflow-flower

Helm部署（推荐）

确保Helm已安装，设置TILLER_NAMESPACE环境变量后执行：

bash
make helm-install NAMESPACE=yournamespace HELM_VALUES=/path/to/your/values.yaml

关键配置项

• Ingress：可通过config.yaml自定义Ingress配置
• Prefix：为K8s资源名称添加前缀，支持同一命名空间部署多个独立Airflow集群
• Git-Sync：开启后自动同步Git仓库中的DAGs（默认每分钟检查一次）
• airflow.cfg ConfigMap：通过values.yaml启用并配置自定义airflow.cfg

DAGs部署

• 嵌入DAGs：将DAGs放入镜像的dags目录，重建镜像后部署
• Git-Sync：通过Helm配置开启，实时同步Git仓库中的DAGs（注意Airflow动态更新的限制）

Python依赖添加

在requirements/dags.txt中声明依赖，构建镜像时自动安装：

bash
make REQUIREMENTS_TXT_LOCATION=/path/to/your/dags/requirements.txt

Minikube运行示例

启动Minikube并访问Dashboard：

bash
minikube start
make browse-web # 访问Airflow Dashboard
make browse-flower # 访问Flower Dashboard

测试教程任务

bash
kubectl exec web-<id> --namespace airflow-dev airflow backfill tutorial -s 2015-05-01 -e 2015-06-01

扩展Worker数量

修改部署的replicas字段后执行：

bash
make apply

构建镜像

克隆仓库后执行：

bash
git clone <仓库地址>
make build

贡献

欢迎分叉、改进并提交PR。