ghcr.io/embeddedllm/vllm-rocm:cb3b2b9

面向所有人的简单、快速且经济的LLM服务

| 文档 | 博客 | 论文 | ***/X | 用户论坛 | 开发者Slack |

🔥 我们已构建vLLM网站帮助您快速上手。请访问vllm.ai了解更多信息。
有关活动信息，请访问vllm.ai/events参与我们。

---

关于

vLLM是一个用于LLM推理和服务的快速且易用的库。

vLLM最初由加州大学伯克利分校Sky Computing Lab开发，现已发展成为最活跃的开源AI项目之一，由来自2000多名贡献者的数十所学术机构和公司组成的多元化社区共同构建和维护。

vLLM的速度优势体现在：

• 最先进的服务吞吐量
• 采用PagedAttention高效管理注意力键值内存
• 传入请求的连续批处理、分块预填充、前缀缓存
• 通过分段和完整CUDA/HIP图实现快速灵活的模型执行
• 量化支持：FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO及更多
• 优化的注意力内核，包括FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA和Triton
• 使用CUTLASS、TRTLLM-GEN、CuTeDSL针对各种精度优化的GEMM/MoE内核
• 投机解码，包括n-gram、suffix、EAGLE、DFlash
• 通过torch.compile实现自动内核生成和图级转换
• 分离式预填充、解码和编码

vLLM的灵活性和易用性体现在：

• 与流行的Hugging Face模型无缝集成
• 支持多种解码算法的高吞吐量服务，包括并行采样、束搜索等
• 用于分布式推理的张量并行、流水线并行、数据并行、专家并行和上下文并行
• 流式输出
• 使用xgrammar或guidance生成结构化输出
• 工具调用和推理解析器
• 兼容OpenAI的API服务器，以及Anthropic Messages API和gRPC支持
• 针对密集层和MoE层的高效多LoRA支持
• 支持NVIDIA GPU、AMD GPU以及x86/ARM/PowerPC CPU。此外，还支持多种硬件插件，如Google TPU、Intel Gaudi、IBM Spyre、Huawei Ascend、Rebellions NPU、Apple Silicon、MetaX GPU等。

vLLM无缝支持Hugging Face上的200多种模型架构，包括：

• 仅解码器LLM（如Llama、Qwen、Gemma）
• 混合专家LLM（如Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS）
• 混合注意力和状态空间模型（如Mamba、Qwen3.5）
• 多模态模型（如LLaVA、Qwen-VL、Pixtral）
• 嵌入和检索模型（如E5-Mistral、GTE、ColBERT）
• 奖励和分类模型（如Qwen-Math）

完整支持的模型列表请参见此处。

快速开始

使用uv（推荐）或pip安装vLLM：

uv pip install vllm

或从源码构建以进行开发。

访问我们的文档了解更多信息：

• 安装
• 快速入门
• 支持的模型列表

贡献

我们欢迎并重视任何贡献与合作。
请查看为vLLM做贡献了解如何参与。

引用

如果您在研究中使用vLLM，请引用我们的论文：

@inproceedings{kwon2023efficient,
title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
year={2023}
}

联系我们

• 技术问题和功能请求，请使用GitHub https://github.com/vllm-project/vllm/issues
• 与其他用户讨论，请使用vLLM论坛
• 协调贡献和开发，请使用Slack
• 安全漏洞披露，请使用GitHub的https://github.com/vllm-project/vllm/security/advisories%E5%8A%9F%E8%83%BD
• 合作与伙伴关系，请通过***联系我们

媒体资源包

• 如您希望使用vLLM标志，请参考https://github.com/vllm-project/media-kit