opea/vllm-gaudi
opea
基于vLLM项目，在Gaudi2上部署和服务VLLM模型的Docker镜像，提供高效、快速的大语言模型推理与服务能力，支持多种量化技术和优化特性。
下载次数: 0状态：社区镜像维护者：opea仓库类型：镜像最近更新：3 个月前
vLLM Gaudi2部署镜像
镜像概述
vLLM Gaudi2部署镜像是基于vLLM项目构建的Docker镜像，专为在Intel Gaudi2硬件上部署和服务大语言模型(LLM)而设计。该镜像提供高效、快速的LLM推理与服务能力，通过优化的内存管理和计算技术，实现高吞吐量的模型服务，适用于各类企业级LLM部署场景。
注意：从v1.23.0版本开始，vLLM fork将逐步停止维护(EOL)，并在v1.24.0版本中正式弃用，仅保留对遗留用例的支持。同时，vllm-gaudi插件在v1.23.0版本中已达到生产就绪状态，并将在v1.24.0版本成为默认选项。建议用户迁移至https://github.com/vllm-project/vllm-gaudi%E4%BB%A5%E8%8E%B7%E5%BE%97%E6%8C%81%E7%BB%AD%E6%94%AF%E6%8C%81%E3%80%82
核心功能与特性
性能优化
- PagedAttention技术：高效管理注意力键值对内存，显著提升内存利用率
- 连续批处理：动态处理传入请求，提高吞吐量
- CUDA/HIP图加速：优化模型执行速度
- 多种量化支持：包括GPTQ、AWQ、AutoRound、INT4、INT8和FP8
- 优化内核：集成FlashAttention和FlashInfer，提升计算效率
- 推测解码：加速生成过程
- 分块预填充：优化长序列处理
灵活性与兼容性
- Hugging Face模型无缝集成：支持大多数流行开源模型
- 多样化解码算法：包括并行采样、束搜索等
- 分布式推理：支持张量并行和管道并行
- 流式输出：实时返回生成结果
- OpenAI兼容API：便于集成现有应用
- 多硬件支持：包括NVIDIA GPU、AMD CPU/GPU、Intel CPU/GPU、PowerPC CPU、TPU和AWS Neuron
- 前缀缓存：提升重复序列处理效率
- 多LoRA支持：便于模型微调与定制
模型支持
无缝支持多种类型的Hugging Face模型，包括：
- Transformer类LLM（如Llama系列）
- 混合专家模型（如Mixtral、Deepseek-V2/V3）
- 嵌入模型（如E5-Mistral）
- 多模态LLM（如LLaVA）
完整支持模型列表请参见vLLM文档。
使用场景与适用范围
- 企业级LLM服务部署：高并发场景下的模型服务
- 研究与开发：快速原型验证和模型测试
- 生产环境推理：需要高效内存管理和高吞吐量的应用
- 多模型服务：同时部署和服务多个LLM模型
- 定制化模型部署：支持LoRA微调模型的服务
使用方法与配置说明
基本安装
通过pip安装vLLM（镜像内已预安装）：
bashpip install vllm
Docker运行示例
使用Docker启动vLLM服务（Gaudi2环境）：
bashdocker run -it --runtime=habana -e HABANA_VISIBLE_DEVICES=all --cap-add=sys_nice --net=host vllm-gaudi:latest \ python -m vllm.entrypoints.api_server \ --model <huggingface-model-path> \ --port 8000 \ --tensor-parallel-size <number-of-gaudi-cards> \ --quantization awq \ # 可选，指定量化方式 --max-num-batched-tokens 4096 \ --max-num-seqs 256
关键配置参数
| 参数 | 说明 | 默认值 |
|---|---|---|
--model | Hugging Face模型路径或名称 | 无 |
--port | API服务端口 | 8000 |
--tensor-parallel-size | 张量并行大小（Gaudi卡数量） | 1 |
--quantization | 量化方式，可选：gptq, awq, int4, int8, fp8 | 无 |
--max-num-batched-tokens | 批处理最大token数 | 4096 |
--max-num-seqs | 最大序列数 | 256 |
--host | 服务绑定地址 | 0.0.0.0 |
--streaming | 启用流式输出 | False |
Gaudi特定配置
对于Intel Gaudi的详细设置说明和示例，请参考https://github.com/HabanaAI/vllm-fork/blob/habana_main/README_GAUDI.md%E3%80%82Jupyter notebook快速入门教程可参考：
- https://github.com/HabanaAI/Gaudi-tutorials/blob/main/PyTorch/vLLM_Tutorials/Getting_Started_with_vLLM/Getting_Started_with_vLLM.ipynb
- https://github.com/HabanaAI/Gaudi-tutorials/blob/main/PyTorch/vLLM_Tutorials/Understanding_vLLM_on_Gaudi/Understanding_vLLM_on_Gaudi.ipynb
参考资源
- vLLM官方文档
- https://github.com/vllm-project/vllm
- https://github.com/vllm-project/vllm-gaudi
- 性能基准测试
vllm/vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
271 次收藏1000万+ 次下载
3 天前更新
vllm/vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
3 次收藏10万+ 次下载
3 天前更新
vllm/vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
7 次收藏1万+ 次下载
18 天前更新
vllm/vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
3 次收藏1万+ 次下载
3 天前更新
vllm/vllm-openai-cpu
vLLM 高性能推理与服务镜像
暂无描述
8.4千+ 次下载
14 天前更新
vllm/vllm-router
vLLM 高性能推理与服务镜像
暂无描述
4.1千+ 次下载
3 天前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"