wongwill86/air-tasks

Air-Tasks 镜像说明

镜像概述

Air-Tasks是一个整合开源工具的分布式任务工作流管理解决方案，旨在简化任务编排、容器集群管理及云基础设施部署。基于Airflow（任务引擎）、Docker Swarm（容器编排）和Docker Infrakit（云基建编排）构建，支持本地、Swarm集群及主流云平台（AWS、GCloud）部署。

核心功能

1. 任务编排: 通过Airflow定义DAG（有向无环图），支持Bash、Python、Docker等任务类型；
2. 容器集群: 利用Docker Swarm实现多机器集群的容器调度与监控；
3. 云基建自动化: 通过Infrakit管理云资源（如AWS EC2、GCloud实例），支持自动扩缩容；
4. 多环境部署: 适配本地开发、Swarm集群及云平台场景；
5. 监控调试: 提供Airflow UI、Celery Flower（Worker监控）、Swarm Visualizer等工具。

使用场景

• 数据处理流水线（ETL任务）；
• 定时批量任务调度；
• 分布式计算任务管理；
• 云基础设施自动化部署与扩缩容。

配置说明

环境准备

1. 安装Docker:
   • 无GPU需求:

     bash
     wget -qO- https://get.docker.com/ | sh
     

   • 有GPU需求: 安装Docker CE稳定版 + nvidia-docker2（参考官方文档）；
2. 安装Docker Compose:

   bash
   pip install docker-compose
   

本地部署示例

bash
git clone https://github.com/wongwill86/air-tasks.git
cd air-tasks
docker-compose -f deploy/docker-compose-CeleryExecutor.yml up -d
# 访问Airflow UI: http://localhost

Swarm集群部署示例

bash
# 创建基础认证密钥（可选）
echo '<用户名>' | docker secret create basic_auth_username -
echo '<密码>' | docker secret create basic_auth_password -
# 部署Stack
docker stack deploy -c deploy/docker-compose-CeleryExecutor.yml <stack名称>

开发自定义DAG

1. 取消deploy/docker-compose-CeleryExecutor.yml中DAG和插件目录的挂载注释；
2. 在dags目录下创建/修改DAG文件；
3. 访问Airflow UI查看更新后的DAG。

调试工具

• Airflow Web UI: 任务状态与调度（http://localhost）；
• Celery Flower: Worker监控（http://localhost/flower）；
• Swarm Visualizer: 集群部署可视化（http://localhost/visualizer）；
• RabbitMQ管理界面: 队列信息（http://localhost/rabbitmq）。 ===FULL_DESC===