quay.io/ascend/vllm-ascend是基于昇腾平台构建的vllm容器镜像,旨在为大语言模型(LLM)提供高效推理解决方案。
支持昇腾GPU硬件加速;实现高吞吐量与低延迟推理;兼容主流LLM模型格式;具备优化的内存管理机制;支持多实例并行部署。
基于vllm推理框架构建,集成昇腾AI软件栈(CANN),采用Python作为主要开发语言,支持Tensor计算与高效模型加载。
适用于大语言模型推理服务部署、AI应用开发中的高性能推理需求、需要在昇腾平台上构建低延迟LLM服务的场景。
请登录使用轩辕镜像享受快速拉取体验,支持国内访问优化,速度提升
docker pull quay.io/ascend/vllm-ascend:main-a3-openeulermanifest unknown 错误
TLS 证书验证失败
DNS 解析超时
410 错误:版本过低
402 错误:流量耗尽
身份认证失败错误
429 限流错误
凭证保存错误
来自真实用户的反馈,见证轩辕镜像的优质服务