DeepSpeed是微软开发的深度学习优化库,通过提供高效分布式训练技术(如ZeRO、3D并行、稀疏注意力等),实现10倍更大模型规模和10倍更快训练速度,支持从单GPU到超算集群的训练场景,最小化代码改动。

1 次收藏下载次数: 0状态:社区镜像维护者:AMD ROCm 官方容器镜像仓库类型:镜像最近更新:
下载命令
点击查看

DeepSpeed 深度学习优化库

镜像概述和主要用途

DeepSpeed是微软开发的深度学习优化库,旨在使分布式训练变得简单、高效且有效。它通过一系列系统优化技术,支持从单GPU到大规模超算集群的模型训练,能够处理万亿参数规模的极端大型模型。DeepSpeed已被用于训练世界上最强大的语言模型之一MT-530B,是微软"AI at Scale"计划的重要组成部分。

核心功能和特性

核心优势

  • 10倍更大模型:支持训练比现有技术大10倍的模型
  • 10倍更快训练:显著提升训练速度,减少训练时间
  • 最小代码改动:易于集成到现有训练流程,降低使用门槛

关键技术特性

  • 分布式训练与混合精度:支持16位混合精度,适配单GPU/多GPU/多节点环境
  • 3D并行ism:结合数据并行、模型并行和管道并行,提升通信效率,支持在有限带宽集群上2-7倍加速
  • 零冗余优化器(ZeRO):优化器状态和梯度分区、激活分区、常量缓冲区优化,大幅降低内存占用
  • ZeRO-Offload:利用CPU和GPU内存,支持在单GPU上训练超过10B参数的模型
  • 稀疏注意力:比密集Transformer支持10倍更长输入序列,执行速度提升6倍
  • 1-bit优化器:1-bit Adam和1-bit LAMB减少高达5倍通信量,同时保持收敛效率
  • 混合专家(MoE):支持8倍更大规模的MoE模型训练,保持高性能
  • 课程学习:通过先易后难的数据呈现方式,实现3.3倍更快的GPT-2预训练
  • 超快速密集Transformer内核:优化的计算内核提升模型执行效率

使用场景和适用范围

DeepSpeed适用于各种深度学习训练场景:

  • 单GPU用户:通过ZeRO-Offload训练10B参数级模型,突破单卡内存限制
  • 低端集群:利用1-bit优化器和通信优化技术,在有限带宽环境下高效训练
  • 大规模超算:通过3D并行技术训练万亿参数级模型(如MT-530B)
  • 研究人员:快速探索更大规模模型,最小化工程负担
  • 企业应用:加速大型语言模型、计算机视觉模型等的训练和部署

使用方法和配置说明

安装要求

  • 需先安装https://pytorch.org/
  • 支持Linux系统,Windows系统目前仅支持推理模式

基本安装

通过pip安装最新版本:

bash
pip install deepspeed

验证安装

安装后可通过环境报告验证兼容性:

bash
ds_report

高级安装

如需预编译扩展或特定版本,可参考https://www.deepspeed.ai/tutorials/advanced-install/

Docker使用示例

基于PyTorch镜像构建DeepSpeed环境:

dockerfile
FROM docker.xuanyuan.run/pytorch/pytorch:latest

RUN pip install deepspeed

# 验证安装
RUN ds_report

WORKDIR /workspace

运行容器:

bash
docker run -it --gpus all docker.xuanyuan.run/deepspeed_env:latest /bin/bash

基本使用流程

  1. 准备训练脚本,集成DeepSpeed API
  2. 创建DeepSpeed配置文件(JSON格式)
  3. 通过DeepSpeed启动器运行训练:
bash
deepspeed --num_gpus=4 train.py --deepspeed_config ds_config.json

配置文件示例

基础ZeRO配置(ds_config.json):

json
{
  "train_batch_size": 32,
  "gradient_accumulation_steps": 4,
  "optimizer": {
    "type": "Adam",
    "params": {
      "lr": 0.001,
      "betas": [0.8, 0.999]
    }
  },
  "zero_optimization": {
    "stage": 2,
    "offload_optimizer": {
      "device": "cpu"
    }
  }
}

进一步学习资源

  • 官方文档:https://www.deepspeed.ai/
  • 教程:https://www.deepspeed.ai/tutorials/cifar-10、https://www.deepspeed.ai/tutorials/megatron/、https://www.deepspeed.ai/tutorials/bert-pretraining/
  • API文档:https://deepspeed.readthedocs.io/en/latest/

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 deepspeed 镜像标签

docker pull docker.xuanyuan.run/rocm/deepspeed:<标签>

DockerHub 原生拉取命令

docker pull rocm/deepspeed:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告