lmxxf/vllm-deepseek-v4-dgx-spark
lmxxf
用于在双DGX Spark节点集群上运行DeepSeek V4 Flash（280B参数，FP4+FP8精度）的预构建Docker镜像，通过vLLM实现张量并行（TP=2），支持100万上下文长度。
1 次收藏下载次数: 0状态：社区镜像维护者：lmxxf仓库类型：镜像最近更新：1 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
DeepSeek V4 Flash on DGX Spark (ARM64/sm_121)
预构建Docker镜像，用于在NVIDIA DGX Spark双节点集群上运行**DeepSeek V4 Flash（280B参数，FP4+FP8精度）**模型。
核心功能与特性
- 基于https://github.com/eugr/spark-vllm-docker%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD%E6%9E%84%E5%BB%BA
- 包含https://github.com/jasl/vllm/tree/ds4-sm120%E5%88%86%E6%94%AF%EF%BC%8C%E6%8F%90%E4%BE%9BSM120/121%E7%9A%84Triton%E5%9B%9E%E9%80%80%E5%86%85%E6%A0%B8
- 支持双DGX Spark（每台128GB显存），通过Ray + NCCL在ConnectX-7 200Gbps网络上通信
- 使用TileLang内核替代DeepGEMM超连接
- CUDA架构：sm_120（向前兼容sm_121/GB10）
快速开始
bash# 拉取镜像 docker pull lmxxf/vllm-deepseek-v4-dgx-spark:latest # 下载模型权重 export HF_ENDPOINT=https://hf-mirror.com # 中国镜像，可选 huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./deepseek-v4-flash # 使用eugr的launch-cluster.sh启动 git clone https://github.com/eugr/spark-vllm-docker.git cd spark-vllm-docker HF_HOME=/path/to/weights/parent \ ./launch-cluster.sh -t lmxxf/vllm-deepseek-v4-dgx-spark exec \ vllm serve /root/.cache/huggingface/deepseek-v4-flash \ --tensor-parallel-size 2 \ --distributed-executor-backend ray \ --gpu-memory-utilization 0.85 \ --kv-cache-dtype fp8 \ --max-model-len 1000000 \ --enforce-eager # 测试 curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"/root/.cache/huggingface/deepseek-v4-flash","messages":[{"role":"user","content":"Hello"}],"max_tokens":100}'
硬件要求
- 2台NVIDIA DGX Spark（每台128GB显存）
- QSFP56 DAC线缆（ConnectX-7 200Gbps）
- 模型权重：约160GB（FP4+FP8精度）
从源码构建
完整构建说明和故障排除指南参见https://github.com/lmxxf/deepseek-v4-deployment-on-dgx-spark%E3%80%82
架构
| 组件 | 作用 |
|---|---|
| vLLM 0.1.dev (jasl分支) | 带SM120 Triton回退的推理引擎 |
| Ray | 跨2节点的分布式执行器 |
| NCCL | 通过RoCE的GPU间通信 |
| FlashInfer | 优化的注意力内核 |
| TileLang | 超连接内核替换 |
已知限制
- 需要
--enforce-eager参数（torch.compile尚未兼容） - 通过SM120内核实现SM121向前兼容（存在轻微性能开销）
- DeepSeek V4发布仅5天（2026-04-24），生态系统仍在成熟中
致谢
- https://github.com/eugr/spark-vllm-docker - DGX Spark Docker基础设施
- https://github.com/jasl/vllm/tree/ds4-sm120 - SM120 Triton回退内核
- https://github.com/zyang-dev/nccl/tree/dgxspark-3node-ring - NCCL mesh支持
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 vllm-deepseek-v4-dgx-spark 镜像标签
docker pull docker.xuanyuan.run/lmxxf/vllm-deepseek-v4-dgx-spark:<标签>
DockerHub 原生拉取命令
docker pull lmxxf/vllm-deepseek-v4-dgx-spark:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"