ghcr.io/aeon-7/vllm-spark-omni-q36:v1.0

Qwen3.6-35B-A3B-heretic NVFP4 + DFlash 在 DGX Spark 上的部署

在 NVIDIA DGX Spark（GB10 / sm_121a）上使用 DFlash 推测解码的 AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 生产级稳定部署。

[!IMPORTANT] 请先阅读要求部分。此镜像及其权重专为搭载 PyTorch nightly cu130 的 DGX Spark（GB10 / sm_120-121 Blackwell）调优。未经重新构建，它将无法在 Hopper、Ampere、B200 或其他 Blackwell 变体上运行。

[!IMPORTANT] 请先阅读要求部分。此镜像及其权重专为搭载 PyTorch nightly cu130 的 DGX Spark（GB10 / sm_120-121 Blackwell）调优。未经重新构建，它将无法在 Hopper、Ampere、B200 或其他 Blackwell 变体上运行。

主要性能指标（实测）

DGX Spark，生产配置（--max-num-seqs 128，--max-model-len 262144，--max-num-batched-tokens 65536，DFlash 推测解码 k=15）。混合领域提示集，enable_thinking=false 以确保解码速率测量准确。

单流解码（贪婪解码 T=0，10 次试验）：

差异反映了不同提示类型的 DFlash 接受率差异——数学/代码提示可达 127 tok/s；开放式提示稳定在 60-90 tok/s。当 DFlash 达到稳态摊销后，1000 token 输出的解码速率攀升至 ~118 tok/s。

并发吞吐量（T=0.7 随机采样，200 token 输出，3 次运行取中位数）：

完整基准测试中 1200+ 请求零错误。

并发数从 64 开始，总吞吐量稳定在 ~313 tok/s——这是 GB10 在该 35B 激活-3B MoE（带线性注意力层）+ DFlash 草稿模型开销下的计算瓶颈。聊天体验最佳并发数：4-16（TTFT

[!IMPORTANT] 如果您在 2026-04-19 之前克隆了草稿模型，必须重新拉取。早期的草稿模型存在长上下文 bug，会在约 16K tokens 后导致 cudaErrorIllegalAddress 崩溃。修复版本已于 2026-04-19 在 HF 上发布。

[!IMPORTANT] 如果您在 2026-04-19 之前克隆了草稿模型，必须重新拉取。早期的草稿模型存在长上下文 bug，会在约 16K tokens 后导致 cudaErrorIllegalAddress 崩溃。修复版本已于 2026-04-19 在 HF 上发布。

快速启动（5 条命令）

# 1. 预检检查 — 确认匿名拉取正常
docker pull ghcr.io/aeon-7/vllm-spark-omni-q36:v1.2

# 2. 将两个模型拉取到标准路径
sudo mkdir -p /opt/qwen36 && sudo chown $USER:$USER /opt/qwen36
cd /opt/qwen36
export HF_HUB_ENABLE_HF_TRANSFER=1
hf download AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4 --local-dir ./qwen36-nvfp4 &
hf download z-lab/Qwen3.6-35B-A3B-DFlash --local-dir ./qwen36-dflash &
wait

# 3. 获取 compose 文件
curl -fsSL https://raw.githubusercontent.com/AEON-7/Qwen3.6-NVFP4-DFlash/main/examples/docker-compose.yml \
-o docker-compose.yml

# 4. 启动服务器（3-5 分钟后出现 "Application startup complete"）
docker compose up -d
docker compose logs -f

# 5. 冒烟测试（使用 temperature=0 进行贪婪解码 → 最大化 DFlash 加速）
curl http://localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen36-fast",
"messages": [{"role":"user","content":"What is 17 × 23?"}],
"max_tokens": 2048,
"temperature": 0
}'

如果 max_tokens

₿ ***（BTC）

---

Ξ ***（ETH）

---

◎ ***（SOL）

DgQsjHdAnT5PNLQTNpJdpLS3tYGpVcsHQCkpoiAKsw8t

ⓜ ***（XMR）

836XrSKw4R76vNi3QPJ5Fa9ugcyvE2cWmKSPv3AhpTNNKvqP8v5ba9JRL4Vh7UnFNjDz3E2GXZDVVenu3rkZaNdUFhjAvgd

*** Layer 2 网络（Base、、Optimism、Polygon 等）和 EVM 兼容可发送至同一***地址。