argoproj/workflow-controller

Argo Workflows 工作流引擎文档

概述

Argo Workflows是开源的容器原生工作流引擎，专为在Kubernetes上编排并行作业而设计，通过Kubernetes自定义资源定义(CRD)实现。它允许将工作流的每个步骤定义为容器，支持通过有向无环图(DAG)或步骤序列捕获任务依赖关系，可高效运行机器学习、数据处理等计算密集型任务，以及原生CI/CD流水线。作为云原生计算基金会(CNCF)托管项目，Argo Workflows具备云无关特性，可在任何Kubernetes集群上部署。

核心功能和特性

• 工作流定义：支持通过DAG（有向无环图）或步骤序列定义多步骤工作流，每个步骤为独立容器
• 可视化与管理：提供UI界面可视化和管理工作流
• 工件管理：支持S3、Artifactory、阿里云OSS、HTTP、Git、GCS等多种工件存储
• 工作流模板：可在集群中存储常用工作流模板，便于复用
• 生命周期管理：支持工作流归档、定时执行、暂停/恢复、取消、超时控制及重试机制（步骤和工作流级别）
• 高级编排能力：提供循环、参数化、条件判断、并行度限制等功能
• Kubernetes集成：支持K8s资源编排、调度策略（亲和性/容忍度/节点选择器）、卷挂载（临时/现有）及PodDisruptionBudget
• 扩展能力：包含REST API、Prometheus指标、事件发射、多执行器及多种垃圾回收策略
• 开发支持：支持脚本步骤、Docker-in-Docker (DinD)、自动资源使用计算及退出钩子（通知、清理）

为什么选择Argo Workflows？

• 容器原生设计：专为容器环境构建，避免传统虚拟机/服务器环境的开销与限制
• 云无关性：可在任何Kubernetes集群运行，不受云厂商限制
• 并行作业优化：高效编排高度并行的作业，充分利用Kubernetes集群资源
• 轻量集成：作为Kubernetes CRD实现，无需额外复杂组件，易于部署和维护

使用场景和适用范围

• 机器学习与数据处理：快速运行计算密集型任务，缩短模型训练和数据处理时间
• CI/CD流水线：在Kubernetes上原生构建CI/CD流程，替代复杂的传统开发工具
• 并行计算任务：通过DAG依赖管理和并行度控制，高效执行多节点并行任务
• 复杂流程自动化：适用于需要多步骤依赖、条件判断和动态参数的业务流程自动化

快速开始

安装步骤

bash
# 创建命名空间
kubectl create namespace argo

# 应用安装清单
kubectl apply -n argo -f https://raw.githubusercontent.com/argoproj/argo/stable/manifests/install.yaml

配置与使用文档

• 快速入门指南
• 工作流规范编写教程
• 工件仓库配置说明

社区与资源

• 代码仓库：https://github.com/argoproj
• 官方网站：https://argoproj.github.io/
• 社区支持：https://argoproj.github.io/community/join-slack
• 社区会议：每月举办，涵盖项目演示与 roadmap 讨论，详情见会议记录