热门搜索:
voipmonitor/vllm
voipmonitor
针对RTX PRO 6000 Blackwell (SM120a)的vLLM推理栈，基于CUDA 13.2构建，包含Ubuntu 24.04、PyTorch nightly、vLLM、FlashInfer、SGLang等组件，修复了nvidia-cutlass-dsl的NVVM/ptxas版本冲突问题，适用于高性能LLM推理任务。
下载次数: 0状态：社区镜像维护者：voipmonitor仓库类型：镜像最近更新：4 天前
voipmonitor/vllm:test-cu132
镜像概述
voipmonitor/vllm:test-cu132是专为RTX PRO 6000 Blackwell (SM120a) 硬件优化的vLLM推理栈镜像，基于CUDA 13.2构建，旨在提供高性能的大语言模型(LLM)推理能力。该镜像集成了多个关键组件，确保在特定硬件上实现高效的模型部署和运行。
核心功能与特性
组件栈
- 基础环境：Ubuntu 24.04 操作系统，集成 CUDA 13.2.0 和 cuDNN
- 深度学习框架：PyTorch nightly (cu132)
- 推理引擎：vLLM（源码构建）
- 加速库：FlashInfer（git main分支）
- 服务框架：SGLang（源码，可编辑模式）
- 优化工具：nvidia-cutlass-dsl 4.4.2（包含CUDA 13.1 NVVM/ptxas修复）
关键修复：nvidia-cutlass-dsl NVVM/ptxas版本冲突
nvidia-cutlass-dsl[cu13] 包含两个子包，均会写入 _cutlass_ir.so 文件：
libs-base（必填）：提供 NVVM/ptxas 12.9 版本（无法为 SM120 编译_mma.block_scale）libs-cu13（可选扩展）：提供 NVVM/ptxas 13.1 版本（支持 SM120）
默认 pip 安装会先安装 libs-cu13 再安装 libs-base，导致 CUDA 13 版本的二进制文件被覆盖。修复方法：将以下命令作为最后一步执行：
bashpip install --force-reinstall --no-deps nvidia-cutlass-dsl-libs-cu13
使用场景与适用范围
该镜像适用于需要在 RTX PRO 6000 Blackwell (SM120a) 硬件上部署和运行大语言模型推理的场景，尤其适合对性能要求较高的应用，如：
- 高性能LLM服务部署
- 大规模语言模型推理性能测试
- 针对SM120架构的模型优化验证
使用方法与配置说明
获取镜像
bashdocker pull voipmonitor/vllm:test-cu132
基本运行示例
bashdocker run --gpus all -it --rm voipmonitor/vllm:test-cu132
详细配置
完整的Dockerfile及更多配置细节，请参考源码仓库中的说明文档。
注意事项
- 该镜像仅针对 RTX PRO 6000 Blackwell (SM120a) 硬件优化，其他架构可能无法正常运行
- 运行时需确保主机已安装支持CUDA 13.2的NVIDIA驱动
- 如需自定义配置，建议基于该镜像构建新的Dockerfile并保留关键修复步骤
更多相关 Docker 镜像与资源
以下是 voipmonitor/vllm 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- vllm/vllm-openai Docker 镜像说明
- rocm/vllm Docker 镜像说明（vLLM 推理服务，ROCm GPU 优化版本）
- pytorch/pytorch Docker 镜像说明
- dustynv/vllm Docker 镜像说明（高性能 LLM 推理服务）
- bitnami/pytorch Docker 镜像说明（PyTorch 深度学习框架，Bitnami 企业级配置）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull voipmonitor/vllm:<标签>
更多 vllm 镜像推荐
vllm/vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
275 次收藏1000万+ 次下载
3 天前更新
vllm/vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
3 次收藏10万+ 次下载
4 天前更新
vllm/vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
3 次收藏5万+ 次下载
4 天前更新
vllm/vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
7 次收藏1万+ 次下载
29 天前更新
vllm/vllm-openai-cpu
vLLM 高性能推理与服务镜像
暂无描述
1万+ 次下载
10 天前更新
rocm/vllm
rocm
这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。
24 次收藏10万+ 次下载
1 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"