热门搜索:
opea/vllm-gaudi
opea
基于vLLM项目，在Gaudi2上部署和服务VLLM模型的Docker镜像，提供高效、快速的大语言模型推理与服务能力，支持多种量化技术和优化特性。
下载次数: 0状态：社区镜像维护者：opea仓库类型：镜像最近更新：5 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
vLLM Gaudi2部署镜像
镜像概述
vLLM Gaudi2部署镜像是基于vLLM项目构建的Docker镜像，专为在Intel Gaudi2硬件上部署和服务大语言模型(LLM)而设计。该镜像提供高效、快速的LLM推理与服务能力，通过优化的内存管理和计算技术，实现高吞吐量的模型服务，适用于各类企业级LLM部署场景。
注意：从v1.23.0版本开始，vLLM fork将逐步停止维护(EOL)，并在v1.24.0版本中正式弃用，仅保留对遗留用例的支持。同时，vllm-gaudi插件在v1.23.0版本中已达到生产就绪状态，并将在v1.24.0版本成为默认选项。建议用户迁移至https://github.com/vllm-project/vllm-gaudi%E4%BB%A5%E8%8E%B7%E5%BE%97%E6%8C%81%E7%BB%AD%E6%94%AF%E6%8C%81%E3%80%82
核心功能与特性
性能优化
- PagedAttention技术：高效管理注意力键值对内存，显著提升内存利用率
- 连续批处理：动态处理传入请求，提高吞吐量
- CUDA/HIP图加速：优化模型执行速度
- 多种量化支持：包括GPTQ、AWQ、AutoRound、INT4、INT8和FP8
- 优化内核：集成FlashAttention和FlashInfer，提升计算效率
- 推测解码：加速生成过程
- 分块预填充：优化长序列处理
灵活性与兼容性
- Hugging Face模型无缝集成：支持大多数流行开源模型
- 多样化解码算法：包括并行采样、束搜索等
- 分布式推理：支持张量并行和管道并行
- 流式输出：实时返回生成结果
- OpenAI兼容API：便于集成现有应用
- 多硬件支持：包括NVIDIA GPU、AMD CPU/GPU、Intel CPU/GPU、PowerPC CPU、TPU和AWS Neuron
- 前缀缓存：提升重复序列处理效率
- 多LoRA支持：便于模型微调与定制
模型支持
无缝支持多种类型的Hugging Face模型，包括：
- Transformer类LLM（如Llama系列）
- 混合专家模型（如Mixtral、Deepseek-V2/V3）
- 嵌入模型（如E5-Mistral）
- 多模态LLM（如LLaVA）
完整支持模型列表请参见https://docs.vllm.ai/en/latest/models/supported_models.html%E3%80%82
使用场景与适用范围
- 企业级LLM服务部署：高并发场景下的模型服务
- 研究与开发：快速原型验证和模型测试
- 生产环境推理：需要高效内存管理和高吞吐量的应用
- 多模型服务：同时部署和服务多个LLM模型
- 定制化模型部署：支持LoRA微调模型的服务
使用方法与配置说明
基本安装
通过pip安装vLLM（镜像内已预安装）：
bashpip install vllm
Docker运行示例
使用Docker启动vLLM服务（Gaudi2环境）：
bashdocker run -it --runtime=habana -e HABANA_VISIBLE_DEVICES=all --cap-add=sys_nice --net=host vllm-gaudi:latest \ python -m vllm.entrypoints.api_server \ --model <huggingface-model-path> \ --port 8000 \ --tensor-parallel-size <number-of-gaudi-cards> \ --quantization awq \ # 可选，指定量化方式 --max-num-batched-tokens 4096 \ --max-num-seqs 256
关键配置参数
| 参数 | 说明 | 默认值 |
|---|---|---|
--model | Hugging Face模型路径或名称 | 无 |
--port | API服务端口 | 8000 |
--tensor-parallel-size | 张量并行大小（Gaudi卡数量） | 1 |
--quantization | 量化方式，可选：gptq, awq, int4, int8, fp8 | 无 |
--max-num-batched-tokens | 批处理最大token数 | 4096 |
--max-num-seqs | 最大序列数 | 256 |
--host | 服务绑定地址 | 0.0.0.0 |
--streaming | 启用流式输出 | False |
Gaudi特定配置
对于Intel Gaudi的详细设置说明和示例，请参考https://github.com/HabanaAI/vllm-fork/blob/habana_main/README_GAUDI.md%E3%80%82Jupyter notebook快速入门教程可参考：
- https://github.com/HabanaAI/Gaudi-tutorials/blob/main/PyTorch/vLLM_Tutorials/Getting_Started_with_vLLM/Getting_Started_with_vLLM.ipynb
- https://github.com/HabanaAI/Gaudi-tutorials/blob/main/PyTorch/vLLM_Tutorials/Understanding_vLLM_on_Gaudi/Understanding_vLLM_on_Gaudi.ipynb
参考资源
- https://docs.vllm.ai
- https://github.com/vllm-project/vllm
- https://github.com/vllm-project/vllm-gaudi
- https://blog.vllm.ai/2024/09/05/perf-update.html
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 vllm-gaudi 镜像标签
docker pull docker.xuanyuan.run/opea/vllm-gaudi:<标签>
DockerHub 原生拉取命令
docker pull opea/vllm-gaudi:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"