scitrera/dgx-spark-vllm

NVIDIA DGX Spark的CUDA容器

https://github.com/scitrera/cuda-containers

本仓库包含针对NVIDIA DGX Spark系统优化的CUDA容器Dockerfile和构建配方，重点支持vLLM、sglang、PyTorch以及多节点推理工作负载。

本项目的主要目标是提供稳定、版本化的预构建镜像，可在DGX Spark（支持Blackwell架构）上开箱即用，同时也适合作为基础镜像用于自定义构建。

项目存在的意义

官方NVIDIA镜像往往滞后于最新版本，而其他社区镜像则优先考虑前沿特性而非版本控制和稳定性。

本仓库的目标是提供稳定、版本化的预构建镜像，可在DGX Spark（支持Blackwell架构）上开箱即用。

与其他构建（例如eugr的仓库（下方链接）——社区标准）的主要架构差异在于：

• NCCL和PyTorch优先构建，在专用基础镜像中完成
• vLLM及相关工具分层叠加
• 版本控制以vLLM发布为主要轴

如果您需要当前git中的最新vLLM特性，强烈推荐：https://github.com/eugr/spark-vllm-docker

对于sglang，官方提供的容器未持续更新。预计随着sglang对SM121支持的改善，这种情况可能在不久的将来改变——但在此期间，Scitrera将尽最大努力维护与vLLM镜像类似的sglang镜像。

可用镜像

vLLM镜像

所有vLLM镜像：

• 针对DGX Spark优化
• 包含Ray用于多节点/集群部署
• 基于更新的NCCL重新构建PyTorch、Triton和vLLM
• 支持张量并行（-tp）和多节点推理
• 托管在Docker Hub：https://hub.docker.com/r/scitrera/dgx-spark-vllm

最新版本

vLLM 0.16.0

• scitrera/dgx-spark-vllm:0.16.0-t4

  • vLLM 0.16.0
  • PyTorch 2.10.0（含torchvision + torchaudio）
  • CUDA 13.1.1
  • Transformers 4.57.6
  • Triton 3.6.0
  • NCCL 2.29.3-1
  • FlashInfer 0.6.3

• scitrera/dgx-spark-vllm:0.16.0-t5

  • 与上述相同，但包含Transformers 5.1.0

vLLM 0.15.1

• scitrera/dgx-spark-vllm:0.15.1-t4

  • vLLM 0.15.1
  • PyTorch 2.10.0（含torchvision + torchaudio）
  • CUDA 13.1.0
  • Transformers 4.57.6
  • Triton 3.5.1（3.6.0暂不兼容）
  • NCCL 2.29.2-1
  • FlashInfer 0.6.2

• scitrera/dgx-spark-vllm:0.15.1-t5

  • 与上述相同，但包含Transformers 5.0.0

早期构建

• scitrera/dgx-spark-vllm:0.15.0-t4

• scitrera/dgx-spark-vllm:0.15.0-t5

• scitrera/dgx-spark-vllm:0.14.1-t4

• scitrera/dgx-spark-vllm:0.14.1-t5

• scitrera/dgx-spark-vllm:0.14.0-t4

• scitrera/dgx-spark-vllm:0.14.0-t5

  • 包含is_deepseek_mla()补丁，支持GLM-4.7-Flash
  • 在4节点DGX Spark集群上通过Ray和-tp4测试成功

• scitrera/dgx-spark-vllm:0.13.0-t4

SGLang镜像

SGLang镜像同样针对DGX Spark优化，提供高性能推理运行时的替代选择。

• 托管在Docker Hub：https://hub.docker.com/r/scitrera/dgx-spark-sglang

最新版本

SGLang 0.5.8

• scitrera/dgx-spark-sglang:0.5.8-t4

  • SGLang 0.5.8（含发布后构建修复）
  • PyTorch 2.10.0（含torchvision + torchaudio）
  • CUDA 13.1.1
  • Transformers 4.57.6
  • Triton 3.6.0
  • NCCL 2.29.3-1
  • FlashInfer 0.6.3

• scitrera/dgx-spark-sglang:0.5.8-t5

  • 与上述相同，但包含Transformers 5.1.0

PyTorch开发基础镜像

如果您想构建自己的推理栈：

• scitrera/dgx-spark-pytorch-dev:2.10.0-v2-cu131

  • PyTorch 2.10.0
  • CUDA 13.1.1
  • NCCL 2.29.3-1
  • 基于nvidia/cuda:13.1.1-devel-ubuntu24.04构建
  • 包含标准构建工具

• scitrera/dgx-spark-pytorch-dev:2.10.0-cu131

  • PyTorch 2.10.0
  • CUDA 13.1.0
  • NCCL 2.29.2-1
  • 基于nvidia/cuda:13.1.0-devel-ubuntu24.04构建
  • 包含标准构建工具

推荐在以下场景使用此基础镜像：

• 自行构建vLLM/sglang/其他工具
• 添加自定义内核或扩展
• 实验替代运行时

标签语义

vLLM和SGLang容器的标签遵循以下模式：

<version>-t<transformers-major>

示例：

• 0.13.0-t4 → vLLM 0.13.0 + Transformers 4.x
• 0.5.8-t5 → SGLang 0.5.8 + Transformers 5.x

使用示例（vLLM）

bash
docker run \
  --privileged \
  --gpus all \
  -it --rm \
  --network host --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  scitrera/dgx-spark-vllm:0.16.0-t4 \
  vllm serve \
    Qwen/Qwen2.5-7B-Instruct \
    --gpu-memory-utilization 0.4

使用示例（SGLang）

bash
docker run \
  --privileged \
  --gpus all \
  -it --rm \
  --network host --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  scitrera/dgx-spark-sglang:0.5.8-t4 \
  sglang serve \
    --model-path Qwen/Qwen2.5-7B-Instruct \
    --mem-fraction-static 0.4

检查组件版本

主要组件版本嵌入为Docker标签。

bash
docker inspect scitrera/dgx-spark-vllm:0.14.0rc2-t4 \
  --format '{{json .Config.Labels}}' | jq

示例输出：

json
{
  "dev.scitrera.cuda_version": "13.1.0",
  "dev.scitrera.flashinfer_version": "0.6.1",
  "dev.scitrera.nccl_version": "2.28.9-1",
  "dev.scitrera.torch_version": "2.10.0-rc6",
  "dev.scitrera.transformers_version": "4.57.5",
  "dev.scitrera.triton_version": "3.5.1",
  "dev.scitrera.vllm_version": "0.14.0rc2"
}

注意事项

• NCCL版本相对于上游PyTorch构建已升级
• PyTorch、Triton和vLLM/sglang已相应重新构建
• 镜像大小仍有优化空间
• 版本组合选择尽可能新，但受稳定性限制（不保证包含可能导致问题的最新特性）

路线图（初步）

• 更好的大小优化
• 为DGX Spark新手提供更多文档/支持

致谢

本项目受以下工作启发并与之互补：

• @eugr的DGX Spark vLLM镜像 https://github.com/eugr/spark-vllm-docker
• 所有在NVIDIA DGX Spark论坛贡献的人，尤其是DGX Spark发布后的前两个月。让一切正常工作真的很不容易！

本项目与NVIDIA无关。由scitrera.ai赞助和维护。

如果您需要四小时前刚添加的最新vLLM特性，请使用eugr的仓库。

如果您需要稳定、预构建且版本可预测的镜像，请使用本仓库构建的docker镜像。