openeuler/verl是openEuler官方维护的适配昇腾NPU的分布式大模型RLHF训练框架镜像,内置完整的昇腾适配软件栈,可直接在Atlas系列设备上无缝执行大模型SFT、PPO/GRPO等RL后训练任务。
镜像概述
本镜像为openEuler CloudNative SIG官方维护的verl(Volcano Engine Reinforcement Learning for LLM)昇腾专属Docker镜像,基于openEuler 24.03-LTS-SP4系统构建,预集成了适配昇腾NPU的完整大模型强化学习训练软件栈,无需额外编译依赖,即可直接在昇腾硬件上运行大语言模型的RLHF及智能体RL训练流程。
verl是开源分布式大语言模型强化学习训练框架,支持SFT、PPO/GRPO及智能体RL流水线,基于Ray混合控制器架构编排,可插拔式对接FSDP2、Megatron训练后端与vLLM、SGLang推理滚动引擎。本镜像已预装昇腾适配的torch_npu、vLLM-Ascend、MindSpeed等组件,完美兼容CANN 9.1.0版本,所有依赖版本均做固定锁定,保证环境一致性。
核心功能
- 全栈预集成:内置torch 2.10.0、torch_npu 2.10.0.post7、vLLM-Ascend 0.30.0、MindSpeed系列组件、transformers 5.14.1等全部训练依赖,开箱即用
- 昇腾硬件原生适配:原生支持Atlas系列训练/推理NPU,充分发挥昇腾芯片的并行计算性能
- 多训练范式支持:覆盖监督微调SFT、PPO/GRPO强化学习训练、智能体RL等主流大模型后训练场景
- 多后端灵活组合:支持vLLM+FSDP2、vLLM+Megatron等多种训练-推理后端组合,适配不同规模训练需求
- 版本可复现:所有组件依赖均锁定到指定标签或提交号,同一镜像标签可保证环境完全一致,避免版本冲突问题
使用场景
- 大语言模型RLHF算法研发与落地
- 基于大模型的智能体强化学习任务训练
- 大模型对齐微调科研与生产部署
- 昇腾AI集群上分布式大模型训练方案快速验证
配置说明
本镜像适配以下硬件设备:
- Atlas A2训练系列:Atlas 800T A2、Atlas 900 A2 PoD、Atlas 200T A2 Box16、Atlas 300T A2
- Atlas 800I A2推理系列:Atlas 800I A2
运行前需确保宿主机已正确安装对应版本的昇腾驱动与CANN 9.1.0套件,按要求挂载设备与宿主机驱动目录即可正常使用NPU算力。
Docker部署示例
1. 容器启动命令
bash# 根据实际使用的昇腾设备调整设备号,例如单卡时指定为/dev/davinci0 export DEVICE=/dev/davinci0 # 指定镜像标签 export IMAGE=openeuler/verl:0.10.0.dev-torch_npu2.10.0-cann9.1.0-python3.12-oe2403sp4 docker run --rm \ --name my-verl \ --device $DEVICE \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /root/.cache:/root/.cache \ -it $IMAGE bash
2. 环境校验(容器内执行)
进入容器后加载昇腾环境变量,验证所有依赖版本与NPU可用性:
bashsource /usr/local/Ascend/ascend-toolkit/set_env.sh && \ source /usr/local/Ascend/nnal/atb/set_env.sh python3 -c "import torch, torch_npu, vllm, vllm_ascend, verl; print('torch_npu', torch_npu.__version__); print('vllm', vllm.__version__); print('verl', verl.__version__); print('NPU可用状态:', torch.npu.is_available())"
3. 快速运行GRPO训练示例
以Qwen3-0.6B模型的GSM8K数据集GRPO训练为例:
bash# 1. 提前将Qwen3-0.6B模型权重放置到宿主机映射目录~/models/Qwen/Qwen3-0.6B,容器内可访问对应路径 # 2. 预处理GSM8K数据集 cd /verl python3 examples/data_preprocess/gsm8k.py --local_dataset_path /dataset/path/gsm8k/ # 3. 启动vLLM + FSDP2架构的GRPO训练 bash tests/special_npu/quick_start/run_qwen3_0_6b_fsdp2_vllm_ascend.sh
openeuler 命名空间的其他可用镜像:
openeuler/openeuler
openEuler 操作系统,开源 Linux 发行版,适合企业级应用
openeuler/open-webui
Open WebUI,基于 openEuler 的 Web 用户界面
openeuler/openclaw
openEuler 发布的 OpenClaw 镜像,适合在 openEuler 或信创环境中部署
openeuler/opencode
openEuler 发布的 OpenCode AI 助手镜像,适合本地对话式开发与工具链集成
openeuler/vllm-ascend
openEuler 场景下的 vLLM Ascend 推理镜像,适合在昇腾硬件上部署大模型在线服务
openeuler/kylin
openEuler 生态中的 Kylin 基础环境镜像,适合信创/国产化环境下的应用构建与验证
更多相关 Docker 镜像与资源
以下是 openeuler/verl 相关的常用 Docker 镜像,适用于 不同场景 等不同场景:
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull openeuler/verl:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务