openeuler/vllm-ascend

vLLM Ascend Docker镜像文档

镜像概述

vLLM Ascend Docker镜像是基于https://repo.openeuler.org/%E6%9E%84%E5%BB%BA%E7%9A%84%E5%AE%98%E6%96%B9%E9%95%9C%E5%83%8F%EF%BC%8C%E7%94%B1https://gitee.com/openeuler/cloudnative%E7%BB%B4%E6%8A%A4%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E9%9B%86%E6%88%90%E4%BA%86vLLM Ascend插件，这是一个社区维护的硬件插件，旨在实现vLLM在Ascend NPU上的无缝运行，是vLLM社区支持Ascend后端的推荐方案。

该插件遵循https://github.com/vllm-project/vllm/issues/***%E8%A7%84%E8%8C%83%EF%BC%8C%E6%8F%90%E4%BE%9B%E7%A1%AC%E4%BB%B6%E5%8F%AF%E6%8F%92%E6%8B%94%E6%8E%A5%E5%8F%A3%EF%BC%8C%E5%B0%86Ascend NPU与vLLM解耦集成。通过使用vLLM Ascend插件，可在Ascend NPU上运行多种流行开源模型，包括Transformer类、混合专家（Mixture-of-Expert）、Embedding及多模态LLM等。

核心功能与特性

• 硬件适配：专为Ascend NPU设计，支持Atlas系列设备
• 模型兼容性：支持Transformer、MoE、Embedding、多模态等多种LLM模型
• 接口规范：遵循vLLM硬件可插拔接口规范，与vLLM生态无缝集成
• 开源免费：基于openEuler构建，免费使用且无用户速率限制
• 多架构支持：支持amd64和arm64架构

支持的标签及Dockerfile链接

镜像标签由vLLM Ascend版本、基础镜像版本组成，具体如下：

使用场景

• Ascend NPU上的大语言模型推理任务
• 多模态模型部署与推理
• 批量离线推理任务
• LLM应用开发与测试

使用方法

1. 支持的设备

• Atlas A2训练系列（Atlas 800T A2、Atlas 900 A2 PoD、Atlas 200T A2 Box16、Atlas 300T A2）
• Atlas 800I A2推理系列（Atlas 800I A2）

2. 使用容器设置环境

bash
# 根据设备更新DEVICE（/dev/davinci[0-7]）
export DEVICE=/dev/davinci0
# 更新vllm-ascend镜像
export IMAGE=quay.io/ascend/vllm-ascend:v0.8.4rc1-openeuler
docker run --rm \
--name vllm-ascend \
--device $DEVICE \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-p 8000:8000 \
-it $IMAGE bash

3. 离线推理

可使用Modelscope镜像加速模型下载：

bash
export VLLM_USE_MODELSCOPE=true

安装vLLM后，可对输入提示列表进行文本生成（即离线批量推理）。直接运行以下Python脚本或使用python3 shell生成文本：

python
from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
# 首次运行将花费约3-5分钟（10 MB/s）下载模型
llm = LLM(model="Qwen/Qwen2.5-0.5B-Instruct")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"提示: {prompt!r}, 生成文本: {generated_text!r}")

问题与反馈

如有任何问题或需使用特殊功能，请在https://gitee.com/openeuler/openeuler-docker-images%E6%8F%90%E4%BA%A4issue%E6%88%96pull request。

获取帮助

• https://gitee.com/openeuler/cloudnative
• https://gitee.com/openeuler/community
• https://vllm-ascend.readthedocs.io/en/latest/