openeuler/verl是openEuler官方维护的适配昇腾NPU的分布式大模型RLHF训练框架镜像,内置完整的昇腾适配软件栈,可直接在Atlas系列设备上无缝执行大模型SFT、PPO/GRPO等RL后训练任务。

下载次数: 0状态:社区镜像维护者:openEuler 官方容器镜像仓库类型:镜像最近更新:
下载命令
点击查看

镜像概述

本镜像为openEuler CloudNative SIG官方维护的verl(Volcano Engine Reinforcement Learning for LLM)昇腾专属Docker镜像,基于openEuler 24.03-LTS-SP4系统构建,预集成了适配昇腾NPU的完整大模型强化学习训练软件栈,无需额外编译依赖,即可直接在昇腾硬件上运行大语言模型的RLHF及智能体RL训练流程。

verl是开源分布式大语言模型强化学习训练框架,支持SFT、PPO/GRPO及智能体RL流水线,基于Ray混合控制器架构编排,可插拔式对接FSDP2、Megatron训练后端与vLLM、SGLang推理滚动引擎。本镜像已预装昇腾适配的torch_npu、vLLM-Ascend、MindSpeed等组件,完美兼容CANN 9.1.0版本,所有依赖版本均做固定锁定,保证环境一致性。

核心功能

  1. 全栈预集成:内置torch 2.10.0、torch_npu 2.10.0.post7、vLLM-Ascend 0.30.0、MindSpeed系列组件、transformers 5.14.1等全部训练依赖,开箱即用
  2. 昇腾硬件原生适配:原生支持Atlas系列训练/推理NPU,充分发挥昇腾芯片的并行计算性能
  3. 多训练范式支持:覆盖监督微调SFT、PPO/GRPO强化学习训练、智能体RL等主流大模型后训练场景
  4. 多后端灵活组合:支持vLLM+FSDP2、vLLM+Megatron等多种训练-推理后端组合,适配不同规模训练需求
  5. 版本可复现:所有组件依赖均锁定到指定标签或提交号,同一镜像标签可保证环境完全一致,避免版本冲突问题

使用场景

  1. 大语言模型RLHF算法研发与落地
  2. 基于大模型的智能体强化学习任务训练
  3. 大模型对齐微调科研与生产部署
  4. 昇腾AI集群上分布式大模型训练方案快速验证

配置说明

本镜像适配以下硬件设备:

  • Atlas A2训练系列:Atlas 800T A2、Atlas 900 A2 PoD、Atlas 200T A2 Box16、Atlas 300T A2
  • Atlas 800I A2推理系列:Atlas 800I A2

运行前需确保宿主机已正确安装对应版本的昇腾驱动与CANN 9.1.0套件,按要求挂载设备与宿主机驱动目录即可正常使用NPU算力。

Docker部署示例

1. 容器启动命令

bash
# 根据实际使用的昇腾设备调整设备号,例如单卡时指定为/dev/davinci0
export DEVICE=/dev/davinci0
# 指定镜像标签
export IMAGE=openeuler/verl:0.10.0.dev-torch_npu2.10.0-cann9.1.0-python3.12-oe2403sp4

docker run --rm \
--name my-verl \
--device $DEVICE \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-it $IMAGE bash

2. 环境校验(容器内执行)

进入容器后加载昇腾环境变量,验证所有依赖版本与NPU可用性:

bash
source /usr/local/Ascend/ascend-toolkit/set_env.sh && \
source /usr/local/Ascend/nnal/atb/set_env.sh
python3 -c "import torch, torch_npu, vllm, vllm_ascend, verl; print('torch_npu', torch_npu.__version__); print('vllm', vllm.__version__); print('verl', verl.__version__); print('NPU可用状态:', torch.npu.is_available())"

3. 快速运行GRPO训练示例

以Qwen3-0.6B模型的GSM8K数据集GRPO训练为例:

bash
# 1. 提前将Qwen3-0.6B模型权重放置到宿主机映射目录~/models/Qwen/Qwen3-0.6B,容器内可访问对应路径
# 2. 预处理GSM8K数据集
cd /verl
python3 examples/data_preprocess/gsm8k.py --local_dataset_path /dataset/path/gsm8k/

# 3. 启动vLLM + FSDP2架构的GRPO训练
bash tests/special_npu/quick_start/run_qwen3_0_6b_fsdp2_vllm_ascend.sh

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 verl 镜像标签

docker pull docker.xuanyuan.run/openeuler/verl:<标签>

DockerHub 原生拉取命令

docker pull openeuler/verl:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告