natecompiles/vllm Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务
natecompiles/vllmnatecompiles
VLLM image compiles for older cuda versions.
下载次数: 0状态：社区镜像维护者：natecompiles仓库类型：镜像最近更新：4 个月前
vLLM compiled for older CUDA versions
This repository provides vLLM images compiled to work with older NVIDIA CUDA versions.
Description
This project aims to provide pre-compiled vLLM Docker images for systems that can't use the latest CUDA toolkits. Currently, the repository offers images specifically compiled for CUDA 12.4.
vLLM is a high-throughput, easy-to-use LLM serving engine that leverages paged attention to achieve significantly higher throughput than traditional serving methods.
rocm/vllm
rocm
这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。
20 次收藏10万+ 次下载
1 个月前更新
intel/vllm
intel
暂无描述
6 次收藏9千+ 次下载
30 天前更新
vllm/vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
240 次收藏1000万+ 次下载
14 天前更新
vllm/vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
2 次收藏5万+ 次下载
14 天前更新
vllm/vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
5 次收藏1万+ 次下载
1 个月前更新
vllm/vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
1 次收藏7.2千+ 次下载
15 天前更新
镜像拉取常见问题
使用与功能问题
错误码与失败问题
manifest unknown 错误：镜像不存在或标签错误
manifest unknown 错误
TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误
TLS 证书验证失败
DNS 解析超时：无法解析镜像仓库地址或连接超时
DNS 解析超时
410 Gone 错误：Docker 版本过低导致协议不兼容
410 错误：版本过低
402 Payment Required 错误：流量耗尽错误提示
402 错误：流量耗尽
401 UNAUTHORIZED 错误：身份认证失败或登录信息错误
身份认证失败错误
429 Too Many Requests 错误：请求频率超出专业版限制
429 限流错误
Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）
凭证保存错误
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"