vLLM 高性能推理与服务镜像 logo

vLLM 高性能推理与服务镜像

vLLM 是面向大语言模型(LLM)推理与服务的高性能引擎项目,强调高吞吐、低延迟与显存高效利用,支持将模型以 OpenAI 兼容 API 形式对外提供服务,并覆盖 GPU/TPU 等多种硬件场景,适合构建生产级模型服务。 https://vllm.ai

vLLM 是一个面向大语言模型(LLM)推理与在线服务的高性能引擎,目标是用更低的延迟与更高的吞吐把模型稳定地“跑成服务”。它的价值不在于“能跑”,而在于“跑得快、跑得稳、跑得省”。 核心能力方面,vLLM 通过连续批处理(Continuous Batching)把新请求动态并入正在运行的批次,提升 GPU/加速卡利用率,实现高吞吐推理。通过 PagedAttention 等内存管理思路减少 KV Cache 碎片,提高同等显存下的并发与可服务长度,让显存使用更省。支持以 OpenAI 兼容 API 形式对外提供服务,便于复用现有的 SDK/调用方式(如对话与补全等接口),降低接入成本。面向不同硬件与运行环境(如 GPU/TPU)提供可用的部署形态,方便在本地、私有化或云环境中落地。 适用场景包括企业/团队自建模型服务,把模型部署到内网或专有环境,降低外部依赖并提升数据可控性。高并发对话/生成场景,需要在同等算力下服务更多并发请求、追求更稳定的延迟分位。研发验证与性能评估,对不同模型、参数、并发策略进行对比测试与容量规划。 选择建议:如果你的目标是“像调用 OpenAI 一样调用自建模型服务”,优先选择提供 OpenAI 兼容服务形态的镜像。如果你的运行环境是 TPU 或需要在 TPU 上做推理验证,则选择对应的 TPU 形态镜像。

vLLM 高性能推理与服务镜像集合

vllm-openai logo
vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai:vLLM 高性能大模型推理框架的官方 Docker 镜像,封装 OpenAI API 兼容的推理服务;支持 PagedAttention 与连续批处理,吞吐量可达传统引擎 10-24 倍;支持 50+ 开源模型与量化方案,适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
314 次收藏44542057 次下载
--更新
vllm-tpu logo
vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
3 次收藏315743 次下载
--更新
vllm-omni logo
vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
8 次收藏578561 次下载
--更新
vllm-omni-rocm logo
vllm-omni-rocm
vLLM 高性能推理与服务镜像
暂无描述
3 次收藏27159 次下载
--更新
vllm-openai-rocm logo
vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
6 次收藏570193 次下载
--更新
vllm-router logo
vllm-router
vLLM 高性能推理与服务镜像
暂无描述
1 次收藏54358 次下载
--更新
vllm-openai-cpu logo
vllm-openai-cpu
vLLM 高性能推理与服务镜像
暂无描述
2 次收藏597598 次下载
--更新
vime logo
vime
vLLM 高性能推理与服务镜像
暂无描述
30973 次下载
--更新
vime-rocm logo
vime-rocm
vLLM 高性能推理与服务镜像
暂无描述
5393 次下载
--更新
vllm-openai-xpu logo
vllm-openai-xpu
vLLM 高性能推理与服务镜像
暂无描述
175241 次下载
--更新
agentic-api logo
agentic-api
vLLM 高性能推理与服务镜像
暂无描述
5586 次下载
--更新
vllm-torchtpu logo
vllm-torchtpu
vLLM 高性能推理与服务镜像
The PyTorch-native TPU backend for vLLM.
1 次收藏11941 次下载
--更新
vllm logo
vllm
vLLM 高性能推理与服务镜像
暂无描述
9745 次下载
--更新
vllm-rocm logo
vllm-rocm
vLLM 高性能推理与服务镜像
暂无描述
2193 次下载
--更新
vllm-xpu logo
vllm-xpu
vLLM 高性能推理与服务镜像
暂无描述
1990 次下载
--更新
第 1 页 / 共 2 页
上一页12

推荐技术栈

推理与服务形态

OpenAI Compatible APILLM Serving高吞吐推理

镜像与部署

vllm/vllm-openaivllm/vllm-tpuDocker

典型使用场景

自建 OpenAI 兼容模型服务

将推理能力以 OpenAI 兼容接口提供给上层应用,最大化复用现有 SDK 与业务代码,并降低对外部服务的依赖。

vllm/vllm-openaiOpenAI Compatible API

TPU 环境推理与评估

在 TPU 环境中部署与评估推理服务能力,适合 TPU 资源场景下的性能探索与生产验证。

vllm/vllm-tpuTPU

相关文章推荐

【漏洞预警】vLLM 爆高危漏洞,推理引擎可被打挂或把别的请求内容漏出去(CVE-2026-114051)

vLLM 另有八条高危。空的 max_tokens 会让过大的 min_tokens 跳过检查,引擎不再接请求但 /health 仍可能返回 200(CVE-2026-114051)。缓存键碰撞会跨请求泄漏(CVE-2026-114054)。另有 gRPC、音频、多模态占位和停止词编号把引擎打停的问题。各条下限从 0.24.0 到 0.31.0 不等。请直接固定 vllm/vllm-openai:v0.32.0,不要停在更低的下限。

Docker漏洞预警2026年10月29日

【漏洞预警】vLLM 爆严重漏洞,开了远程代码信任就可能执行模型仓库里的代码(CVE-2026-114053)

vLLM 0.7.3 至 0.31.0 之前,多模态请求可以把 code_revision 传到处理器加载。开了 trust_remote_code、且模型处理器走动态加载时,能控制所服务模型仓库某个版本的人,可以让 API 进程执行任意 Python(CVE-2026-114053)。NVD CVSS 4.0 为 9.2。默认没开 trust_remote_code 的不受影响。本条下限是 0.31.0,请直接固定 v0.32.0。

Docker漏洞预警2026年10月28日

【漏洞预警】vLLM 爆高危漏洞,开了多模态的服务可能被执行代码(CVE-2026-115912 / 115915)

vLLM 又有两条高危。开启共享内存多模态缓存时,已登录的低权限调用方可以让 worker 反序列化攻击者的数据并执行代码(CVE-2026-115912)。图像入口会把字节交给未限制格式的解码器,在宿主机依赖版本吻合时可能执行命令或打垮 worker(CVE-2026-115915,CVSS 3.1 为 8.1)。两条都要升到 v0.32.0。v0.31.0 没有被写成修复版。

Docker漏洞预警2026年10月27日

【漏洞预警】vLLM 爆高危漏洞,推理接口可被拿去连外部主机或拖垮服务(CVE-2026-116176)

vLLM 有四条高危。P2pNcclConnector 会按请求头去连外部地址,可能泄露推理缓存(CVE-2026-116176,CVSS 4.0 为 8.8)。另外三条能用图片或视频把 worker 打到内存耗尽,或让共享引擎崩溃(CVE-2026-116177、116179、116180)。请把 vllm/vllm-openai 升到 v0.32.0。只升到 v0.24.0 或 v0.28.0 盖不住全部。

Docker漏洞预警2026年10月26日

【漏洞预警】LMCache HTTP 管理面未认证远程代码执行与配额篡改(CVE-2026-107204 / 107205 / 107206)

LMCache 到 0.5.5 为止暴露未认证的 /run_script,可绕过受限导入后执行系统命令(CVE-2026-107204,CVSS 9.8)。多进程 coordinator 与 HTTP 管理端默认监听所有网卡且无认证,可改配额、枚举缓存并读取环境凭证(CVE-2026-107205、CVE-2026-107206)。官方镜像 lmcache/vllm-openai 通常以 root 运行。公开资料尚未给出稳定修复版。

Docker漏洞预警2026年10月9日

常见问题 (FAQ)

Q1:vLLM 相比其他推理引擎(如 HuggingFace Transformers)有什么优势?

vLLM 的主要优势包括:1) 高吞吐量,通过连续批处理技术,吞吐量可达传统推理引擎的 10-24 倍;2) 内存效率高,PagedAttention 技术减少 KV Cache 碎片,内存利用率提升 3-5 倍,可在相同显存下部署更大模型或处理更多并发;3) 低延迟,优化了推理路径,p99 延迟更低;4) OpenAI 兼容 API,无需修改现有代码即可接入;5) 支持多种量化方案(INT4/INT8/GPTQ/AWQ),进一步降低显存占用。

Q2:如何优化 vLLM 的性能和资源使用?

优化 vLLM 性能的方法:1) 合理设置 gpu-memory-utilization(默认 0.9),根据模型大小和并发需求调整;2) 使用量化模型(如 GPTQ、AWQ)减少显存占用;3) 调整 max-model-len 限制序列长度,平衡显存和功能;4) 多 GPU 部署时设置 tensor-parallel-size 等于 GPU 数量;5) 根据并发需求调整 max-num-seqs 控制同时处理的请求数;6) 使用连续批处理充分利用 GPU,避免静态批处理的资源闲置;7) 监控 GPU 利用率和显存使用,根据实际负载调优参数。

专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告