Kubeflow Pipelines

Kubeflow Pipelines服务概述

Kubeflow 是一个机器学习（ML）工具包，致力于简化在Kubernetes上部署ML工作流，使其具备可移植性和可扩展性。

Kubeflow Pipelines 是使用Kubeflow Pipelines SDK构建的可重用端到端ML工作流。

Kubeflow Pipelines服务具有以下目标：

• 端到端编排：支持并简化端到端机器学习管道的编排
• 轻松实验：让您能够轻松尝试多种想法和技术，并管理各种试验/实验
• 易于重用：允许您重用组件和管道，快速构建端到端解决方案，无需每次重新构建

安装

• Kubeflow Pipelines 可作为 Kubeflow平台 的一部分安装。或者，您可以将 Kubeflow Pipelines 部署为独立服务。

• Docker容器运行时在Kubernetes 1.20+上已被弃用。从Kubeflow Pipelines 1.8开始，默认已切换为使用 Emissary Executor。Emissary Executor与容器运行时无关，这意味着您可以在使用任何 容器运行时 的Kubernetes集群上运行Kubeflow Pipelines。

依赖项兼容性矩阵

文档

通过 Kubeflow Pipelines概述 开始使用您的第一个管道并阅读更多信息。

查看 使用Kubeflow Pipelines SDK 的各种方法。

有关API规范，请参见Kubeflow Pipelines API文档。

使用Python SDK编写管道时，请参考 Python SDK参考文档。

Deep Wiki

查看我们在 DeepWiki 上的AI驱动的仓库文档。

[!WARNING] 请注意，这是AI生成的内容，可能包含不完全准确的信息。

为Kubeflow Pipelines做贡献

在开始为Kubeflow Pipelines做贡献之前，请阅读 贡献指南 中的准则。要了解如何从源代码构建和部署Kubeflow Pipelines，请阅读 开发者指南。

可选的 just 命令运行器

为方便本地开发者，此仓库在根目录包含一个可选的 https://github.com/casey/just 命令运行器。它为现有的 make 目标提供简短别名，且不会替代任何CI或发布工作流。

要使用它，请安装 just 并运行，例如：

just # 列出可用配方
just backend-test
just backend-images

注意：

• 所有 just 配方都是现有 make 目标的简单包装（例如，make -C backend/src/v2 test）。
• 故意不提供通用的 just build 或 just test 配方；繁重的或Docker构建流程仅通过明确命名的配方（如 backend-images）公开。

Kubeflow Pipelines社区

社区会议

Kubeflow Pipelines社区会议每两周举行一次，时间为周三上午10-11点（太平洋标准时间，PST）。

日历邀请

会议直接链接

会议纪要

Slack

我们在Cloud Native Computing Foundation Slack工作区还有一个slack频道（#kubeflow-pipelines）。您可以在 [***] 找到更多详细信息。

架构

有关KFP架构的详细信息，请参见 Architecture.md

博客文章

• 从原始数据到模型服务：使用Kubeflow实现AI/ML生命周期的蓝图（作者：https://github.com/hbelmiro%EF%BC%89
• Kubeflow Pipelines入门（作者：Amy Unruh）
• 如何创建和部署Kubeflow机器学习管道（作者：Lak Lakshmanan）
• 第1部分：如何创建和部署Kubeflow机器学习管道
• 第2部分：如何将Jupyter笔记本部署为Kubeflow ML管道的组件
• 第3部分：如何使用Kubeflow ML管道在机器学习中执行CI/CD（“MLOps”）

致谢

Kubeflow Pipelines默认在底层使用 https://github.com/argoproj/argo-workflows 来编排Kubernetes资源。Argo社区给予了大力支持，我们对此深表感谢。