mumoshu/kube-airflow

kube-airflow

本仓库包含：

• Apache Airflow的Dockerfile模板（用于构建Docker镜像并发布至Docker Hub公共 registry）
• 用于在Kubernetes上创建Airflow服务与部署的配置文件airflow.all.yaml

基本信息

• 灵感来源于https://github.com/puckel/docker-airflow%E7%9A%84%E4%BC%98%E7%A7%80%E5%B7%A5%E4%BD%9C
• 基于Debian Jessie官方镜像https://registry.hub.docker.com/_/debian/%EF%BC%8C%E4%BD%BF%E7%94%A8%E5%AE%98%E6%96%B9https://hub.docker.com/_/postgres/%E4%BD%9C%E4%B8%BA%E5%90%8E%E7%AB%AF%E5%AD%98%E5%82%A8%E3%80%81https://hub.docker.com/_/rabbitmq/%E4%BD%9C%E4%B8%BA%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97
• 版本跟随Python Package Index上的Airflow发布

安装

创建Airflow所需的所有部署和服务：

bash
kubectl create -f airflow.all.yaml

构建镜像

克隆本仓库后执行：

bash
make build

使用说明

部署Airflow到Kubernetes

执行以下命令创建所有部署和服务：

bash
kubectl create -f airflow.all.yaml

将创建以下部署：

• postgres（后端存储）
• rabbitmq（消息队列）
• airflow-webserver（Web服务）
• airflow-scheduler（调度器）
• airflow-flower（监控界面）
• airflow-worker（工作节点）

以及以下服务：

• postgres
• rabbitmq
• airflow-webserver
• airflow-flower

访问仪表盘

• 打开Airflow仪表盘：

  bash
  make browse-web
  

• 打开Flower监控界面：

  bash
  make browse-flower
  

配置临时查询

若需使用临时查询（Ad hoc query），需配置连接：

1. 进入Admin -> Connections
2. 编辑"mysql_default"，设置以下值（与config/airflow.cfg一致）：
   • Host: mysql
   • Schema: airflow
   • Login: airflow
   • Password: airflow

更多信息请参考Airflow官方文档

运行教程测试

bash
kubectl exec web-<id> --namespace airflow-dev airflow backfill tutorial -s 2015-05-01 -e 2015-06-01

（请将<id>替换为实际的web服务Pod ID）

扩展工作节点数量

修改部署配置中的replicas字段值后执行：

bash
make apply

贡献

欢迎Fork仓库、改进代码并提交PR！