Kubeflow Trainer

最新动态 🔥

• [2026/03] Kubeflow Trainer v2.2 正式发布，支持 JAX 和 XGBoost 训练运行时，增强了可观测性（将指标传播到 TrainJob 状态），并集成了 Flux Framework 以支持 HPC 和 MPI 工作负载。查看博客发布公告。
• [2025/11] Kubeflow Trainer v2.1 正式发布，支持分布式数据缓存、基于 Kueue 和 Volcano 的拓扑感知调度，以及 LLM 训练后增强功能。查看https://github.com/kubeflow/trainer/releases/tag/v2.1.0%E3%80%82
• [2025/09] Kubeflow SDK v0.1 正式发布，支持 CustomTrainer、BuiltinTrainer 和本地 PyTorch 执行。查看https://github.com/kubeflow/sdk/releases/tag/0.1.0%E3%80%82
• [2025/07] Kubernetes 上的 PyTorch：Kubeflow Trainer 加入 PyTorch 生态系统。在PyTorch 博客文章中查看公告。

更多动态

• [2025/07] Kubeflow Trainer v2.0 已正式发布。查看博客发布公告和https://github.com/kubeflow/trainer/releases/tag/v2.0.0%E3%80%82
• [2025/04] 从高性能计算到 Kubernetes 上的 AI 工作负载：Kubeflow TrainJob 中的 MPI 运行时。观看KubeCon + CloudNativeCon London 演讲

概述

Kubeflow Trainer 是一个 Kubernetes 原生分布式 AI 平台，用于可扩展的大型语言模型（LLM）微调以及跨多种框架的 AI 模型训练，包括 PyTorch、MLX、HuggingFace、DeepSpeed、JAX、XGBoost 等。

Kubeflow Trainer 将 MPI 引入 Kubernetes，在高性能计算（HPC）集群上高效编排多节点、多 GPU 分布式作业。这实现了进程间的高吞吐量通信，使其成为需要 GPU 节点间超快速同步的大规模 AI 训练的理想选择。

Kubeflow Trainer 与云原生 AI 生态系统无缝集成，包括用于拓扑感知调度和多集群作业调度的Kueue，以及用于 AI 工作负载编排的https://github.com/kubernetes-sigs/jobset%E5%92%8Chttps://github.com/kubernetes-sigs/lws%E3%80%82

Kubeflow Trainer 提供分布式数据缓存，旨在通过零拷贝传输将大规模数据流式传输到 GPU 节点。这确保了内存高效的训练作业，同时最大化 GPU 利用率。

借助https://github.com/kubeflow/sdk%EF%BC%8CAI 从业者可以轻松开发和微调 LLM，同时利用 Kubeflow Trainer API：TrainJob 和 Runtimes。

Kubeflow Trainer 介绍

查看以下 KubeCon + CloudNativeCon 演讲，了解 Kubeflow Trainer 的功能：

其他演讲：

• 从高性能计算到 Kubernetes 上的 AI 工作负载：Kubeflow TrainJob 中的 MPI 运行时
• 使用 Kubeflow LLM Trainer 在 Kubernetes 上简化 LLM 微调

快速入门

请查看Kubeflow Trainer 官方文档以安装并开始使用 Kubeflow Trainer。

社区

以下链接提供有关如何参与社区的信息：

• 加入我们的 #kubeflow-trainer Slack 频道。
• 参加双周 AutoML 和训练工作组社区会议。
• 查看谁在使用 Kubeflow Trainer。

贡献

请参考贡献指南。

变更日志

请参考变更日志。

Kubeflow Training Operator V1

Kubeflow Trainer 项目目前处于 alpha 状态，API 可能会发生变化。 如果您正在使用 Kubeflow Training Operator V1，请参考此迁移文档。

Kubeflow 社区将在https://github.com/kubeflow/trainer/tree/release-1.9%E7%BB%B4%E6%8A%A4 Training Operator V1 源代码。

您可以在这些指南中找到 Kubeflow Training Operator V1 的文档。

致谢

该项目最初是作为 TensorFlow 的分布式训练算子启动的，后来我们合并了其他 Kubeflow 训练算子的工作，为用户和开发人员提供统一且简化的体验。我们非常感谢所有提交问题或帮助解决问题、提问和回答问题以及参与启发性讨论的人。 我们还要感谢所有为原始算子做出贡献和维护的人。

• PyTorch Operator：https://github.com/kubeflow/pytorch-operator/graphs/contributors%E5%92%8Chttps://github.com/kubeflow/pytorch-operator/blob/master/OWNERS%E3%80%82
• MPI Operator：https://github.com/kubeflow/mpi-operator/graphs/contributors%E5%92%8Chttps://github.com/kubeflow/mpi-operator/blob/master/OWNERS%E3%80%82
• XGBoost Operator：https://github.com/kubeflow/xgboost-operator/graphs/contributors%E5%92%8Chttps://github.com/kubeflow/xgboost-operator/blob/master/OWNERS%E3%80%82
• 公共库：https://github.com/kubeflow/common/graphs/contributors%E5%92%8Chttps://github.com/kubeflow/common/blob/master/OWNERS%E3%80%82