热门搜索:
email2liyang/docker-airflow
email2liyang
用于在Kubernetes环境中部署Airflow的镜像，支持LocalExecutor和CeleryExecutor，基于puckel/docker-airflow修改适配K8s，使用MySQL作为后端、RabbitMQ作为broker，提供init和super-init脚本，CeleryExecutor集成Flower监控任务状态。
下载次数: 0状态：社区镜像维护者：email2liyang仓库类型：镜像最近更新：1 年前
airflow-kubernetes
镜像概述
airflow-kubernetes是一个用于在Kubernetes环境中部署Apache Airflow的Docker镜像，支持LocalExecutor和CeleryExecutor两种执行模式。该镜像基于https://github.com/puckel/docker-airflow%E9%A1%B9%E7%9B%AE%E4%BF%AE%E6%94%B9%EF%BC%8C%E9%92%88%E5%AF%B9Kubernetes%E7%8E%AF%E5%A2%83%E8%BF%9B%E8%A1%8C%E4%BA%86%E9%80%82%E9%85%8D%E4%BC%98%E5%8C%96%EF%BC%8C%E6%8F%90%E4%BE%9B%E6%9B%B4%E7%81%B5%E6%B4%BB%E7%9A%84%E5%88%9D%E5%A7%8B%E5%8C%96%E6%9C%BA%E5%88%B6%E5%92%8C%E7%BB%84%E4%BB%B6%E9%85%8D%E7%BD%AE%E3%80%82
核心功能与特性
- 多执行器支持：同时支持LocalExecutor和CeleryExecutor，满足不同规模的工作流需求
- 后端与消息队列：使用MySQL作为元数据存储后端（替代默认的PostgreSQL），RabbitMQ作为消息代理（替代默认的PostgreSQL）
- 灵活初始化机制：
- 提供SystemV风格的init脚本：用户可将脚本复制到容器内
/usr/local/airflow/config/init/目录，在webserver启动前执行，适用于初始化Airflow变量、连接等 - 提供SystemV风格的super-init脚本：用户可将脚本复制到容器内
/usr/local/airflow/config/super-init/目录，在webserver启动前以root用户执行，适用于需要root权限的初始化操作（如修改/etc/hosts）
- 提供SystemV风格的init脚本：用户可将脚本复制到容器内
- CeleryExecutor增强：集成Flower工具，用于监控Celery任务状态
使用场景与适用范围
- 需要在Kubernetes集群中部署和运行Apache Airflow的场景
- 需根据工作负载规模灵活选择LocalExecutor（小规模）或CeleryExecutor（大规模分布式）的场景
- 需要自定义初始化流程（如预设Airflow变量、连接信息或系统级配置）的Airflow部署需求
使用方法与配置说明
前置准备
- Kubernetes环境：确保已安装Kubernetes集群，推荐使用minikube进行本地测试，安装方法参考minikube官方文档
部署步骤
使用LocalExecutor部署
bashkubectl apply -f KubernetesLocalExecutor.yaml
使用CeleryExecutor部署
bashkubectl apply -f KubernetesCeleryExecutor.yaml
初始化脚本使用
init脚本（普通用户权限）
- 创建初始化脚本（如初始化Airflow变量）
- 将脚本复制到容器内
/usr/local/airflow/config/init/目录 - 容器启动时会自动按顺序执行该目录下的脚本
super-init脚本（root用户权限）
- 创建需要root权限的初始化脚本（如修改
/etc/hosts） - 将脚本复制到容器内
/usr/local/airflow/config/super-init/目录 - 容器启动时会以root用户身份自动执行该目录下的脚本
常见问题（FAQ）
如何在Kubernetes环境中启用实时日志浏览？
通过super-init脚本获取Kubernetes集群中Worker节点的主机名和IP映射，并写入/etc/hosts。示例脚本如下：
- 创建脚本
init_worker_hostnames.sh：
bash#!/usr/bin/env bash kubectl get po -n <namespace> -o wide | grep <worker-pod-prefix> | awk '{printf("%s\t%s\n",$6,$1)}' >> /etc/hosts
- 将脚本复制到容器内
/usr/local/airflow/config/super-init/目录 - 重启Airflow服务后生效
更多使用说明
关于Docker镜像的基础使用方法，请参考https://github.com/puckel/docker-airflow
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 docker-airflow 镜像标签
docker pull docker.xuanyuan.run/email2liyang/docker-airflow:<标签>
DockerHub 原生拉取命令
docker pull email2liyang/docker-airflow:<标签>
更多 docker-airflow 镜像推荐
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"