vLLM 高性能推理与服务镜像
vLLM 是面向大语言模型(LLM)推理与服务的高性能引擎项目,强调高吞吐、低延迟与显存高效利用,支持将模型以 OpenAI 兼容 API 形式对外提供服务,并覆盖 GPU/TPU 等多种硬件场景,适合构建生产级模型服务。 https://vllm.ai
vLLM 高性能推理与服务镜像集合
推荐技术栈
推理与服务形态
镜像与部署
典型使用场景
自建 OpenAI 兼容模型服务
将推理能力以 OpenAI 兼容接口提供给上层应用,最大化复用现有 SDK 与业务代码,并降低对外部服务的依赖。
TPU 环境推理与评估
在 TPU 环境中部署与评估推理服务能力,适合 TPU 资源场景下的性能探索与生产验证。
相关文章推荐
【漏洞预警】vLLM 爆高危漏洞,推理引擎可被打挂或把别的请求内容漏出去(CVE-2026-114051)
vLLM 另有八条高危。空的 max_tokens 会让过大的 min_tokens 跳过检查,引擎不再接请求但 /health 仍可能返回 200(CVE-2026-114051)。缓存键碰撞会跨请求泄漏(CVE-2026-114054)。另有 gRPC、音频、多模态占位和停止词编号把引擎打停的问题。各条下限从 0.24.0 到 0.31.0 不等。请直接固定 vllm/vllm-openai:v0.32.0,不要停在更低的下限。
【漏洞预警】vLLM 爆严重漏洞,开了远程代码信任就可能执行模型仓库里的代码(CVE-2026-114053)
vLLM 0.7.3 至 0.31.0 之前,多模态请求可以把 code_revision 传到处理器加载。开了 trust_remote_code、且模型处理器走动态加载时,能控制所服务模型仓库某个版本的人,可以让 API 进程执行任意 Python(CVE-2026-114053)。NVD CVSS 4.0 为 9.2。默认没开 trust_remote_code 的不受影响。本条下限是 0.31.0,请直接固定 v0.32.0。
【漏洞预警】vLLM 爆高危漏洞,开了多模态的服务可能被执行代码(CVE-2026-115912 / 115915)
vLLM 又有两条高危。开启共享内存多模态缓存时,已登录的低权限调用方可以让 worker 反序列化攻击者的数据并执行代码(CVE-2026-115912)。图像入口会把字节交给未限制格式的解码器,在宿主机依赖版本吻合时可能执行命令或打垮 worker(CVE-2026-115915,CVSS 3.1 为 8.1)。两条都要升到 v0.32.0。v0.31.0 没有被写成修复版。
【漏洞预警】vLLM 爆高危漏洞,推理接口可被拿去连外部主机或拖垮服务(CVE-2026-116176)
vLLM 有四条高危。P2pNcclConnector 会按请求头去连外部地址,可能泄露推理缓存(CVE-2026-116176,CVSS 4.0 为 8.8)。另外三条能用图片或视频把 worker 打到内存耗尽,或让共享引擎崩溃(CVE-2026-116177、116179、116180)。请把 vllm/vllm-openai 升到 v0.32.0。只升到 v0.24.0 或 v0.28.0 盖不住全部。
【漏洞预警】LMCache HTTP 管理面未认证远程代码执行与配额篡改(CVE-2026-107204 / 107205 / 107206)
LMCache 到 0.5.5 为止暴露未认证的 /run_script,可绕过受限导入后执行系统命令(CVE-2026-107204,CVSS 9.8)。多进程 coordinator 与 HTTP 管理端默认监听所有网卡且无认证,可改配额、枚举缓存并读取环境凭证(CVE-2026-107205、CVE-2026-107206)。官方镜像 lmcache/vllm-openai 通常以 root 运行。公开资料尚未给出稳定修复版。
常见问题 (FAQ)
Q1:vLLM 相比其他推理引擎(如 HuggingFace Transformers)有什么优势?
vLLM 的主要优势包括:1) 高吞吐量,通过连续批处理技术,吞吐量可达传统推理引擎的 10-24 倍;2) 内存效率高,PagedAttention 技术减少 KV Cache 碎片,内存利用率提升 3-5 倍,可在相同显存下部署更大模型或处理更多并发;3) 低延迟,优化了推理路径,p99 延迟更低;4) OpenAI 兼容 API,无需修改现有代码即可接入;5) 支持多种量化方案(INT4/INT8/GPTQ/AWQ),进一步降低显存占用。
Q2:如何优化 vLLM 的性能和资源使用?
优化 vLLM 性能的方法:1) 合理设置 gpu-memory-utilization(默认 0.9),根据模型大小和并发需求调整;2) 使用量化模型(如 GPTQ、AWQ)减少显存占用;3) 调整 max-model-len 限制序列长度,平衡显存和功能;4) 多 GPU 部署时设置 tensor-parallel-size 等于 GPU 数量;5) 根据并发需求调整 max-num-seqs 控制同时处理的请求数;6) 使用连续批处理充分利用 GPU,避免静态批处理的资源闲置;7) 监控 GPU 利用率和显存使用,根据实际负载调优参数。