DeepSpeed是微软开发的深度学习优化库,通过提供高效分布式训练技术(如ZeRO、3D并行、稀疏注意力等),实现10倍更大模型规模和10倍更快训练速度,支持从单GPU到超算集群的训练场景,最小化代码改动。
DeepSpeed 深度学习优化库
镜像概述和主要用途
DeepSpeed是微软开发的深度学习优化库,旨在使分布式训练变得简单、高效且有效。它通过一系列系统优化技术,支持从单GPU到大规模超算集群的模型训练,能够处理万亿参数规模的极端大型模型。DeepSpeed已被用于训练世界上最强大的语言模型之一MT-530B,是微软"AI at Scale"计划的重要组成部分。
核心功能和特性
核心优势
- 10倍更大模型:支持训练比现有技术大10倍的模型
- 10倍更快训练:显著提升训练速度,减少训练时间
- 最小代码改动:易于集成到现有训练流程,降低使用门槛
关键技术特性
- 分布式训练与混合精度:支持16位混合精度,适配单GPU/多GPU/多节点环境
- 3D并行ism:结合数据并行、模型并行和管道并行,提升通信效率,支持在有限带宽集群上2-7倍加速
- 零冗余优化器(ZeRO):优化器状态和梯度分区、激活分区、常量缓冲区优化,大幅降低内存占用
- ZeRO-Offload:利用CPU和GPU内存,支持在单GPU上训练超过10B参数的模型
- 稀疏注意力:比密集Transformer支持10倍更长输入序列,执行速度提升6倍
- 1-bit优化器:1-bit Adam和1-bit LAMB减少高达5倍通信量,同时保持收敛效率
- 混合专家(MoE):支持8倍更大规模的MoE模型训练,保持高性能
- 课程学习:通过先易后难的数据呈现方式,实现3.3倍更快的GPT-2预训练
- 超快速密集Transformer内核:优化的计算内核提升模型执行效率
使用场景和适用范围
DeepSpeed适用于各种深度学习训练场景:
- 单GPU用户:通过ZeRO-Offload训练10B参数级模型,突破单卡内存限制
- 低端集群:利用1-bit优化器和通信优化技术,在有限带宽环境下高效训练
- 大规模超算:通过3D并行技术训练万亿参数级模型(如MT-530B)
- 研究人员:快速探索更大规模模型,最小化工程负担
- 企业应用:加速大型语言模型、计算机视觉模型等的训练和部署
使用方法和配置说明
安装要求
- 需先安装https://pytorch.org/
- 支持Linux系统,Windows系统目前仅支持推理模式
基本安装
通过pip安装最新版本:
bashpip install deepspeed
验证安装
安装后可通过环境报告验证兼容性:
bashds_report
高级安装
如需预编译扩展或特定版本,可参考https://www.deepspeed.ai/tutorials/advanced-install/
Docker使用示例
基于PyTorch镜像构建DeepSpeed环境:
dockerfileFROM docker.xuanyuan.run/pytorch/pytorch:latest RUN pip install deepspeed # 验证安装 RUN ds_report WORKDIR /workspace
运行容器:
bashdocker run -it --gpus all docker.xuanyuan.run/deepspeed_env:latest /bin/bash
基本使用流程
- 准备训练脚本,集成DeepSpeed API
- 创建DeepSpeed配置文件(JSON格式)
- 通过DeepSpeed启动器运行训练:
bashdeepspeed --num_gpus=4 train.py --deepspeed_config ds_config.json
配置文件示例
基础ZeRO配置(ds_config.json):
json{ "train_batch_size": 32, "gradient_accumulation_steps": 4, "optimizer": { "type": "Adam", "params": { "lr": 0.001, "betas": [0.8, 0.999] } }, "zero_optimization": { "stage": 2, "offload_optimizer": { "device": "cpu" } } }
进一步学习资源
- 官方文档:https://www.deepspeed.ai/
- 教程:https://www.deepspeed.ai/tutorials/cifar-10、https://www.deepspeed.ai/tutorials/megatron/、https://www.deepspeed.ai/tutorials/bert-pretraining/
- API文档:https://deepspeed.readthedocs.io/en/latest/
rocm 命名空间的其他可用镜像:
rocm/vllm
vLLM 推理服务,ROCm GPU 优化版本
rocm/pytorch
PyTorch 机器学习框架,ROCm GPU 加速版本
rocm/vllm-dev
基于 ROCm 的 vLLM 开发与推理镜像,适合 AMD GPU 上的大模型服务
rocm/vllm-ci
ROCm 场景下的 vLLM CI/构建相关镜像,适合 AMD GPU 大模型流水线验证
rocm/sgl-dev
ROCm SGLang 开发镜像,适合 AMD GPU 大模型推理开发
rocm/k8s-device-plugin
ROCm Kubernetes Device Plugin,适合 AMD GPU 在 K8s 中调度
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull rocm/deepspeed:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务