voipmonitor/vllm Docker Image
voipmonitor查看中文加速指南
针对RTX PRO 6000 Blackwell (SM120a)的vLLM推理栈，基于CUDA 13.2构建，包含Ubuntu 24.04、PyTorch nightly、vLLM、FlashInfer、SGLang等组件，修复了nvidia-cutlass-dsl的NVVM/ptxas版本冲突问题，适用于高性能LLM推理任务。
5 次收藏下载次数: 0状态：社区镜像维护者：voipmonitor仓库类型：镜像最近更新：1 个月前
voipmonitor/vllm:test-cu132
vLLM inference stack for RTX PRO 6000 Blackwell (SM120a) with CUDA 13.2.
Stack
- Ubuntu 24.04 + CUDA 13.2.0 + cuDNN
- PyTorch nightly (cu132)
- vLLM (source build)
- FlashInfer (git main)
- SGLang (source, editable)
- nvidia-cutlass-dsl 4.4.2 (with CUDA 13.1 NVVM/ptxas fix)
Key fix: nvidia-cutlass-dsl NVVM/ptxas version
nvidia-cutlass-dsl[cu13] ships two sub-packages that both write _cutlass_ir.so:
libs-base(mandatory) — NVVM/ptxas 12.9 (can't compile_mma.block_scalefor SM120)libs-cu13(optional extra) — NVVM/ptxas 13.1 (works)
pip installs libs-base after libs-cu13, overwriting the CUDA 13 binary.
Fix: pip install --force-reinstall --no-deps nvidia-cutlass-dsl-libs-cu13 as last step.
Dockerfile
See full Dockerfile in the source repository.
voipmonitor 命名空间的其他可用镜像：
更多相关 Docker 镜像与资源
以下是 voipmonitor/vllm 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull voipmonitor/vllm:<标签>
