vllm-ascend是基于昇腾硬件优化的大语言模型(LLM)推理服务容器镜像,旨在解决大语言模型部署过程中的性能瓶颈与资源利用效率问题。
支持高并发请求处理与低延迟推理响应;优化昇腾NPU计算资源利用率;兼容主流LLM模型格式;提供gRPC/REST API接口;具备高效内存管理机制。
基于Python构建,集成昇腾AI处理器(Ascend NPU)加速能力,采用C++核心优化推理引擎,支持Tensor高效处理,通过Docker容器化实现环境一致性部署。
适用于需要大规模LLM推理服务的场景,如智能客服、内容生成、代码辅助开发等依赖高并发AI响应的应用,尤其适合基于昇腾硬件的部署环境。
请登录使用轩辕镜像享受快速拉取体验,支持国内访问优化,速度提升
docker pull quay.io/ascend/vllm-ascend:v0.10.1rc1-openeuler探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务