Kubeflow Pipelines

Kubeflow Pipelines服务概述

Kubeflow 是一个机器学习（ML）工具包，致力于简化机器学习工作流在Kubernetes上的部署，使其具备可移植性和可扩展性。

Kubeflow Pipelines 是使用Kubeflow Pipelines SDK构建的可重用端到端机器学习工作流。

Kubeflow Pipelines服务的目标如下：

• 端到端编排：支持并简化端到端机器学习管道的编排
• 轻松实验：让您能够轻松尝试多种想法和技术，并管理各种试验/实验
• 易于重用：使您能够重用组件和管道，快速构建端到端解决方案，无需每次重新构建

安装

• Kubeflow Pipelines可作为Kubeflow平台的一部分安装。或者，您也可以将Kubeflow Pipelines部署为独立服务。

• Docker容器运行时在Kubernetes 1.20+版本已被弃用。从Kubeflow Pipelines 1.8开始，默认使用Emissary Executor。Emissary Executor与容器运行时无关，这意味着您可以在使用任何容器运行时的Kubernetes集群上运行Kubeflow Pipelines。

依赖兼容性矩阵

文档

通过Kubeflow Pipelines概述开始您的第一个管道，并了解更多信息。

查看使用Kubeflow Pipelines SDK的各种方式。

有关API规范，请参见Kubeflow Pipelines API文档。

使用Python SDK编写管道时，请参考Python SDK参考文档。

Deep Wiki

查看我们在DeepWiki上的AI驱动的仓库文档。

[!WARNING] 请注意，这是AI生成的内容，可能包含不完全准确的信息。

为Kubeflow Pipelines贡献

在开始为Kubeflow Pipelines贡献之前，请阅读贡献指南。要了解如何从源代码构建和部署Kubeflow Pipelines，请阅读开发者指南。

可选的just命令运行器

为方便本地开发，此仓库在根目录包含一个可选的https://github.com/casey/just%E5%91%BD%E4%BB%A4%E8%BF%90%E8%A1%8C%E5%99%A8%E3%80%82%E5%AE%83%E4%B8%BA%E7%8E%B0%E6%9C%89%E7%9A%84%60make%60%E7%9B%AE%E6%A0%87%E6%8F%90%E4%BE%9B%E7%AE%80%E7%9F%AD%E5%88%AB%E5%90%8D%EF%BC%8C%E4%B8%8D%E4%BC%9A%E6%9B%BF%E4%BB%A3%E4%BB%BB%E4%BD%95CI%E6%88%96%E5%8F%91%E5%B8%83%E5%B7%A5%E4%BD%9C%E6%B5%81%E3%80%82

要使用它，请安装just并运行，例如：

just # 列出可用的任务
just backend-test
just backend-images

注意：

• 所有just任务都是现有make目标的简单包装（例如，make -C backend/src/v2 test）。
• 故意没有通用的just build或just test任务；繁重或Docker构建流程仅通过显式命名的任务（如backend-images）公开。

Kubeflow Pipelines社区

社区会议

Kubeflow Pipelines社区会议每两周一次，时间为周三上午10-11点（太平洋标准时间）。

日历邀请

会议直接链接

会议记录

Slack

我们在Cloud Native Computing Foundation Slack工作区设有Slack频道（#kubeflow-pipelines）。您可以在[***]

架构

有关KFP架构的详细信息，请参见Architecture.md

博客文章

• 从原始数据到模型服务：使用Kubeflow实现AI/ML生命周期的蓝图（作者：https://github.com/hbelmiro%EF%BC%89
• Kubeflow Pipelines入门（作者：Amy Unruh）
• 如何创建和部署Kubeflow机器学习管道（作者：Lak Lakshmanan）
• 第一部分：如何创建和部署Kubeflow机器学习管道
• 第二部分：如何将Jupyter笔记本部署为Kubeflow ML管道的组件
• 第三部分：如何使用Kubeflow ML管道进行机器学习中的CI/CD（“MLOps”）

致谢

Kubeflow Pipelines默认在底层使用https://github.com/argoproj/argo-workflows%E6%9D%A5%E7%BC%96%E6%8E%92Kubernetes%E8%B5%84%E6%BA%90%E3%80%82Argo%E7%A4%BE%E5%8C%BA%E7%BB%99%E4%BA%88%E4%BA%86%E5%A4%A7%E5%8A%9B%E6%94%AF%E6%8C%81%EF%BC%8C%E6%88%91%E4%BB%AC%E5%AF%B9%E6%AD%A4%E6%B7%B1%E8%A1%A8%E6%84%9F%E8%B0%A2%E3%80%82