该Docker镜像提供MindSpeed LLM的预配置环境,支持Ascend NPU(A3、910B)及openEuler/Ubuntu系统,集成核心依赖,便于用户快速开展大语言模型的开发与部署。
MindSpeed LLM Docker镜像说明
镜像概述
该Docker镜像为MindSpeed LLM提供预配置环境,支持Ascend NPU芯片(A3、910B)及多种操作系统(openEuler 24.03、Ubuntu 22.04),集成PyTorch、torch_npu等核心依赖,便于用户在NPU硬件上快速开展大语言模型的开发与部署。镜像遵循Apache 2.0开源协议,可通过灵活的构建脚本定制环境。
核心功能
- 多环境兼容:支持Ascend A3/910B芯片、openEuler/Ubuntu系统及Python 3.11版本;
- 灵活构建:通过
image_build.sh脚本可配置NPU类型、OS版本、框架版本等参数; - 预安装依赖:包含PyTorch、torch_npu、MindSpeed LLM、MindSpeed及Megatron-LM等核心组件;
- NPU设备支持:支持映射NPU设备(如/dev/davinci1)及相关驱动文件;
- 二次开发友好:可基于该镜像扩展自定义Dockerfile,安装额外依赖。
使用场景
- 大语言模型在Ascend NPU上的开发与测试;
- 基于MindSpeed LLM的模型部署;
- 针对特定NPU硬件的LLM应用二次开发。
配置说明
镜像标签格式
标签命名规则:{版本}-{芯片类型}-{操作系统}-py{Python版本}-{架构}
示例:master-a3-openeuler24.03-py3.11-aarch64(对应A3芯片、openEuler 24.03、Python3.11、aarch64架构)
构建示例
bash# 构建默认910B镜像 cd docker && bash image_build.sh # 构建A3芯片镜像 bash image_build.sh -t a3 # 指定PyTorch版本构建 bash image_build.sh -t a3 --torch-version 2.7.1 --torch-npu-version 2.7.1
运行示例
基础运行
bashdocker run -it --rm docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64 bash
带NPU设备运行
bashdocker run -it --rm \ --privileged --network host --ipc=host \ --device=/dev/davinci1 --device=/dev/davinci_manager \ --device=/dev/hisi_hdc --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /etc/ascend_install.info:/etc/ascend_install.info \ docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64 bash
二次开发
基于该镜像创建自定义Dockerfile:
dockerfileFROM docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64 RUN pip install your-package==1.0.0 COPY . /workspace/your-project WORKDIR /workspace/your-project
Build并运行:
bashdocker build -t my-mindspeed-app:latest . docker run -it --rm \ --device=/dev/davinci1 \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ my-mindspeed-app:latest bash
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 mindspeed-llm 镜像标签
docker pull docker.xuanyuan.run/ascendai/mindspeed-llm:<标签>
DockerHub 原生拉取命令
docker pull ascendai/mindspeed-llm:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务