ascendai/mindspeed-llm

MindSpeed LLM Docker镜像说明

镜像概述

该Docker镜像为MindSpeed LLM提供预配置环境，支持Ascend NPU芯片（A3、910B）及多种操作系统（openEuler 24.03、Ubuntu 22.04），集成PyTorch、torch_npu等核心依赖，便于用户在NPU硬件上快速开展大语言模型的开发与部署。镜像遵循Apache 2.0开源协议，可通过灵活的构建脚本定制环境。

核心功能

1. 多环境兼容：支持Ascend A3/910B芯片、openEuler/Ubuntu系统及Python 3.11版本；
2. 灵活构建：通过image_build.sh脚本可配置NPU类型、OS版本、框架版本等参数；
3. 预安装依赖：包含PyTorch、torch_npu、MindSpeed LLM、MindSpeed及Megatron-LM等核心组件；
4. NPU设备支持：支持映射NPU设备（如/dev/davinci1）及相关驱动文件；
5. 二次开发友好：可基于该镜像扩展自定义Dockerfile，安装额外依赖。

使用场景

• 大语言模型在Ascend NPU上的开发与测试；
• 基于MindSpeed LLM的模型部署；
• 针对特定NPU硬件的LLM应用二次开发。

配置说明

镜像标签格式

标签命名规则：{版本}-{芯片类型}-{操作系统}-py{Python版本}-{架构}
示例：master-a3-openeuler24.03-py3.11-aarch64（对应A3芯片、openEuler 24.03、Python3.11、aarch64架构）

构建示例

bash
# 构建默认910B镜像
cd docker && bash image_build.sh

# 构建A3芯片镜像
bash image_build.sh -t a3

# 指定PyTorch版本构建
bash image_build.sh -t a3 --torch-version 2.7.1 --torch-npu-version 2.7.1

运行示例

基础运行

bash
docker run -it --rm docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64 bash

带NPU设备运行

bash
docker run -it --rm \
    --privileged --network host --ipc=host \
    --device=/dev/davinci1 --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc --device=/dev/devmm_svm \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64 bash

二次开发

基于该镜像创建自定义Dockerfile：

dockerfile
FROM docker.xuanyuan.run/mindspeed-llm:master-910b-openeuler24.03-py3.11-aarch64
RUN pip install your-package==1.0.0
COPY . /workspace/your-project
WORKDIR /workspace/your-project

Build并运行：

bash
docker build -t my-mindspeed-app:latest .
docker run -it --rm \
    --device=/dev/davinci1 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    my-mindspeed-app:latest bash