Kubeflow Pipelines

Kubeflow 管道服务概述

Kubeflow 是一个机器学习（ML）工具包，致力于简化在 Kubernetes 上部署 ML 工作流，使其具备可移植性和可扩展性。

Kubeflow pipelines 是使用 Kubeflow Pipelines SDK 构建的可重用端到端 ML 工作流。

Kubeflow 管道服务具有以下目标：

• 端到端编排：支持并简化端到端机器学习管道的编排
• 轻松实验：让您能够轻松尝试多种想法和技术，并管理各种试验/实验
• 轻松重用：使您能够重用组件和管道，快速构建端到端解决方案，无需每次重新构建

安装

• Kubeflow Pipelines 可作为 Kubeflow 平台 的一部分安装。或者，您可以将 Kubeflow Pipelines 部署为独立服务。

• Kubernetes 1.20+ 已弃用 Docker 容器运行时。从 Kubeflow Pipelines 1.8 开始，Kubeflow Pipelines 默认切换为使用 Emissary Executor。Emissary 执行器与容器运行时无关，这意味着您可以在使用任何 容器运行时 的 Kubernetes 集群上运行 Kubeflow Pipelines。

依赖兼容性矩阵

文档

通过 Kubeflow Pipelines 概述 开始您的第一个管道并阅读更多信息。

查看 使用 Kubeflow Pipelines SDK 的各种方式。

有关 API 规范，请参见 Kubeflow Pipelines API 文档。

使用 Python SDK 编写管道时，请参考 Python SDK 参考文档。

Deep Wiki

在 DeepWiki 上查看我们的 AI 驱动的仓库文档。

[!WARNING] 请注意，这是 AI 生成的内容，可能包含不完全准确的信息。

为 Kubeflow Pipelines 做贡献

在开始为 Kubeflow Pipelines 贡献之前，请阅读 贡献指南 中的准则。要了解如何从源代码构建和部署 Kubeflow Pipelines，请阅读 开发者指南。

可选的 just 命令运行器

为方便本地开发，此仓库在根目录包含一个可选的 https://github.com/casey/just 命令运行器。它为现有的 make 目标提供简短别名，不替代任何 CI 或发布工作流。

要使用它，请安装 just 并运行，例如：

just # 列出可用的任务
just backend-test
just backend-images

注意：

• 所有 just 任务都是现有 make 目标的简单包装（例如，make -C backend/src/v2 test）。
• 故意不提供通用的 just build 或 just test 任务；繁重或 Docker 构建流程仅通过显式命名的任务（如 backend-images）公开。

Kubeflow Pipelines 社区

社区会议

Kubeflow Pipelines 社区会议每隔一周的周三上午 10-11 点（太平洋标准时间，PST）举行。

日历邀请

会议直接链接

会议记录

Slack

我们在 Cloud Native Computing Foundation Slack 工作区设有 slack 频道（#kubeflow-pipelines）。您可以在 [***] 找到更多详细信息。

架构

有关 KFP 架构的详细信息，请参见 Architecture.md。

博客文章

• 从原始数据到模型服务：使用 Kubeflow 的 AI/ML 生命周期蓝图（作者：https://github.com/hbelmiro%EF%BC%89
• Kubeflow Pipelines 入门（作者：Amy Unruh）
• 如何创建和部署 Kubeflow 机器学习管道（作者：Lak Lakshmanan）
• 第 1 部分：如何创建和部署 Kubeflow 机器学习管道
• 第 2 部分：如何将 Jupyter 笔记本部署为 Kubeflow ML 管道的组件
• 第 3 部分：如何使用 Kubeflow ML 管道执行机器学习中的 CI/CD（“MLOps”）

致谢

Kubeflow pipelines 默认在底层使用 https://github.com/argoproj/argo-workflows 来编排 Kubernetes 资源。Argo 社区给予了大力支持，我们深表感谢。