ghcr.io/AEON-7/vllm-aeon-ultimate-dflash

ghcr.io/AEON-7/vllm-aeon-ultimate-dflash:latest

ghcr.iolinux/amd64latest大小: 11.56 GB更新于 2026年11月8日

[!IMPORTANT] 新部署优先选用 Qwen3.8: https://huggingface.co/AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4-MIXED · https://github.com/AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED(Spark 动态 DFlash 晶格,TP=2,适配 RTX)。 当前 Qwen3.6 版本仅为兼容现有部署与留存历史提供。

Qwen3.6-27B-AEON-Ultimate-Uncensored

无损去对齐 · 能力增强 · 面向 Blackwell 的 NVFP4 硬件量化

拒绝率:0 / 100  ·  与基础模型的 KL 散度:0.000492  ·  压缩率:49 %  ·  能力等级:增强


内容概要

这是基于 https://huggingface.co/Qwen/Qwen3.6-27B 完成的完全无对齐、能力增强去对齐模型,由数百个并行 AI 研究代理经过 72 小时不间断研发产出,融合了行业已公开的最优方法论、自研定制技术,以及尚未公开发布的下一代去对齐软件预发布分支成果。

快速开始(DGX Spark / GB10)——直接复制可用

⚠️ 本容器仅适用于 DGX Spark / GB10,不具备跨硬件可移植性。 aeon-vllm-ultimate 专为 Spark 的 ARM64 CPU 和 GB10 的 sm_121a NVFP4 内核构建。在 x86 / amd64 主机上无法启动,会抛出 /usr/bin/bash: cannot execute binary file 错误(CPU 架构不匹配);在非 Blackwell 架构的 GPU 上(RTX 4090 / L40S 属于 Ada 架构 sm_89,A100/H100 属于 Ampere/Hopper 架构),NVFP4 执行路径无法运行(NVFP4 功能依赖 Blackwell 硬件)。除 DGX Spark 之外的所有硬件请勿拉取本容器,请在你自己构建的 vLLM 上运行可移植的 HuggingFace 权重,从 硬件兼容性矩阵 中为你的 GPU 选择对应版本和推测解码方案。(后续版本可能会推出适配 x86 + Blackwell 的镜像。)

下述完整流程一次性完成容器拉取、模型拉取(最新版本,采用 -Multimodal-NVFP4-MTP-XS 主体,详见模型变体)、DFlash 草稿模型拉取(最新版本),并使用经过验证的 DGX Spark 参数启动服务:

# 1) 拉取 AEON 统一 vLLM 容器(内置 vLLM 0.23.0、sm_121a 支持、DFlash 功能)
docker pull ghcr.io/aeon-7/aeon-vllm-ultimate:latest

# 2) 拉取本模型最新版本
huggingface-cli download AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP --local-dir ./aeon-model

# 3) 拉取 DFlash 草稿模型最新版本(z-lab 会持续推送更新,请务必每次重新拉取)
huggingface-cli download z-lab/Qwen3.6-27B-DFlash --local-dir ./aeon-drafter

# 4) 启动服务(容器默认 ENTRYPOINT 为 /bin/bash → 传入 --entrypoint vllm 后执行 serve 命令)
docker run --gpus all --ipc host --network host \
-v ./aeon-model:/model:ro -v ./aeon-drafter:/drafter:ro \
--entrypoint vllm ghcr.io/aeon-7/aeon-vllm-ultimate:latest \
serve /model \
--quantization modelopt \
--mamba-cache-dtype float32 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice \
--limit-mm-per-prompt '{"image":4,"video":2}' \
--mm-encoder-tp-mode data \
--max-num-seqs 16 \
--max-num-batched-tokens 16384 \
--gpu-memory-utilization 0.70 \
--enable-chunked-prefill \
--enable-prefix-caching \
--trust-remote-code \
--speculative-config '{"method":"dflash","model":"/drafter","num_speculative_tokens":10}'

--gpu-memory-utilization 0.70 是安全默认值。 Spark 的 128 GB 内存是统一架构(CPU 和 GPU 共享同一份 LPDDR5X 内存池),过度分配内存会引发页面抖动,表现为响应变慢、代理死循环甚至引擎崩溃,不会触发常规 OOM 错误。0.70 的利用率可为协同部署的服务(ASR/TTS)和操作系统预留足够余量。仅当该 LLM 是唯一 GPU 负载时,才可将该值提升至 0.85(同时通过 free -h 监控内存状态);绝对不要超过 0.88。相关内容可参考故障排查章节。

服务启动后,兼容 OpenAI 接口的端点将运行在 http://localhost:8000/v1。首次下载时将自动启用 DFlash 草稿模型的访问校验(只需点击一次确认许可协议)。完整的分步操作指南、docker-compose 配置文件、A100/H100 的 BF16 运行方案,以及所有参数的设计 rationale,请参阅后文的快速开始 — DGX Spark 和配置参考章节。

性能 — DGX Spark 启用 DFlash 与原生基线对比

核心亮点如下: 在 DGX Spark / GB10 硬件上,AEON DFlash 容器能把原本“能跑但速度极慢”的原生基线体验优化为实用级的长上下文本地代理模型。

v0.23.0 构建版本 — 官方原版 vs 极致优化版

测试基于当前生产镜像 ghcr.io/aeon-7/aeon-vllm-ultimate:latest(内置 vLLM 0.23.0 + AEON 定制 sm_121a 构建 + DFlash num_speculative_tokens: 10),单流并发(c=1),分场景测得数据如下:

测试场景🟢 解码 tok/sp50 首 token 延迟p50 单 token 生成耗时预填充 (PP) 速度DFlash 草稿接受率
代码生成42140 ms23.9 ms322 tok/s34%
数学计算47244 ms21.1 ms229 tok/s42%
逻辑推理56234 ms17.8 ms183 tok/s50%
散文创作34146 ms29.4 ms220 tok/s27%
自然语言交互38137 ms26.1 ms248 tok/s31%
信息提取 / JSON 输出44246 ms22.6 ms195 tok/s37%

对比官方原版 vllm/vllm-openai 基线约 10.5 tok/s(未启用 DFlash、无 sm_121a 专属优化),优化后最高解码速度可达原来的 5.3 倍,平均提升约 4 倍,且可稳定扩展至 64 并发(c=64) 无崩溃(修复前的镜像在高并发推测解码场景下会出现崩溃问题,详见我们为 DGX Spark 修复的问题)。

官方基线说明: 上述未优化的原版 vLLM 测试数据(未启用 DFlash、无 AEON/sm_121a 优化)为临时参考值,后续将使用完全纯净的最新原版 vLLM 重新基准测试更新。


早期 qwen36-v4 版本参考(DFlash k=15)

下表吞吐量数据基于早期 qwen36-v4 镜像搭配 DFlash k=15 参数测得。后续生产容器和构建方案已统一迁移至 ghcr.io/aeon-7/aeon-vllm-ultimate:latest,默认使用 DFlash num_speculative_tokens: 10 配置(长上下文调优 rationale 详见后文为何 Spark 配置针对长上下文优化)。此处的单流吞吐量数据可反映 Spark DFlash 路径的典型表现;统一镜像的核心优化点在于长上下文草稿接受率:约 9k 上下文场景下可达 45%,对比修复前镜像的 19.7% 提升 2.3 倍,而非短上下文下的 token 生成速度。

部署模式使用容器DFlash 配置CUDA 图工具调用功能c=1 平均解码速度
🔴 原生基线vllm/vllm-openai:nightly关闭关闭(启用 --enforce-eager)关闭10.49 tok/s
🟢 AEON DFlash 优化ghcr.io/aeon-7/aeon-vllm-ultimate:latestn=10开启开启37.56 tok/s †

† 上述单流 37.56 tok/s 与基线 10.49 tok/s 的比值是在早期 qwen36-v4 镜像搭配 DFlash k=15 参数下测得,并非在当前 aeon-vllm-ultimate:latest 的 n=10 配置下测得。统一镜像的核心收益是长上下文草稿接受率(约 9k 上下文下达到 45%,远高于旧版本的 19.7%),而非这些短上下文 token 生成速度,详见长上下文调优说明章节。

单流解码平均性能提升:较原始原生 eager 基线高出 258%

单流解码

本节及下方并发表中的所有数据,均在早期 qwen36-v4 镜像、DFlash k=15 条件下测得(详见上方说明),该结果可代表 Spark DFlash 链路的表现,并非在 aeon-vllm-ultimate:latest 镜像、n=10 条件下重新运行得到。

类别🔴 原始基线🟢 AEON DFlash近似提速幅度DFlash TTFTDFlash TPOT
代码生成10.70 tok/s31.89 tok/s+198%191 ms30.5 ms
数学计算10.01 tok/s37.76 tok/s+277%225 ms25.5 ms
逻辑推理10.54 tok/s42.41 tok/s+303%221 ms22.6 ms
散文生成10.59 tok/s31.85 tok/s+201%212 ms30.4 ms
自然语言处理10.56 tok/s31.99 tok/s+203%183 ms30.3 ms
信息抽取 / JSON 输出10.56 tok/s49.48 tok/s+369%227 ms19.2 ms
平均10.49 tok/s37.56 tok/s+258%~210 ms~26.4 ms

实际智能体并发性能

当并发数 c=16 时,经过优化的容器可大幅提升活跃流的响应性。结构化智能体/工具工作负载的总吞吐量提升最为显著,且所有类别的 TPOT 均出现下降。(下文标注为 AEON 的列数据均为 AEON 容器上 DFlash 链路的运行结果。)

类别🔴 原始模式 c=16 总吞吐量 / TPOT🟢 AEON c=16 总吞吐量 / TPOT总吞吐量变化
代码生成134.47 tok/s / 115.1 ms144.45 tok/s / 61.5 ms+7%
数学计算134.38 tok/s / 115.1 ms193.94 tok/s / 41.6 ms+44%
逻辑推理134.86 tok/s / 115.4 ms187.82 tok/s / 46.6 ms+39%
散文生成135.34 tok/s / 115.3 ms121.34 tok/s / 80.6 ms总吞吐量下降10%,TPOT 降低30%
自然语言处理129.82 tok/s / 117.7 ms130.19 tok/s / 71.2 ms总吞吐量基本持平,TPOT 降低39%
信息抽取 / JSON 输出133.30 tok/s / 115.4 ms219.11 tok/s / 43.2 ms+64%

压力饱和测试

c=256 属于饱和压力测试,不推荐作为交互式场景的运行配置。基线模式通过让所有流以极低速度运行,可以给出很高的总吞吐量,但 AEON DFlash 链路能让每个活跃流的 TPOT 维持在远低于基线的水平;不过当并发数达到 c=256 时,请求会出现严重排队,TTFT 会上升至数分钟级别。

类别🔴 原始模式 c=256 TPOT🟢 AEON c=256 TPOTAEON c=256 TTFT
代码生成575.5 ms70.0 ms149.6 s
数学计算531.9 ms42.7 ms103.6 s
逻辑推理540.7 ms49.4 ms109.3 s
散文生成532.5 ms77.1 ms159.8 s
自然语言处理533.4 ms72.9 ms160.0 s
信息抽取 / JSON 输出551.9 ms43.2 ms90.4 s

AEON 容器新增特性

  • 统一生产镜像:ghcr.io/aeon-7/aeon-vllm-ultimate:latest(等同于标签 :2026-06-11-pr41703;回退标签为 :2026-06-04-pr44389)。该单一镜像完全替代了旧的按版本迭代的 qwen36-v3 / v4 / v5 容器谱系。
  • FlashInfer NVFP4 GEMM 计算链路
  • 来自 vLLM PR #40898 的 DFlash 滑动窗口注意力兼容补丁( Draft 模型的 5 层中有 4 层为滑动窗口结构,早期镜像将这些层作为全注意力运行,导致推测解码在上下文长度超过约2048 token 后失效)
  • vLLM PR #41703 解决了 DFlash 模式下 --enable-prefix-caching 的数据损坏问题
  • 为 GB10 / sm_121a 硬件适配启用 CUTLASS NVFP4 高速计算链路
  • DFlash 默认生产配置为 num_speculative_tokens: 10(已完成验证),搭配 z-lab/Qwen3.6-27B-DFlash,Draft 后端保持默认配置
  • 内置启用 Qwen3 推理解析器与 Qwen3-Coder 工具调用解析器
  • 预封装网关/生产/基准测试配置文件,用户无需手动拼接完整的 vLLM 启动命令

Spark 方案针对长上下文优化的原因

z-lab 发布的 Qwen3.6-27B DFlash Draft 模型为滑动窗口模型:其 5 层结构中有 4 层使用窗口大小为 2048 的滑动窗口注意力。aeon-vllm-ultimate:latest 镜像中集成的 vLLM PR #40898 会将这些层作为标准 SWA 运行;早期镜像将其作为全注意力处理,因此当上下文长度超过约 2048 token 时,推测解码就会失效。PR #41703 还额外修复了 DFlash 模式下 --enable-prefix-caching 的数据损坏问题。最终效果为:长上下文场景下的推测解码能力可正常维持;长度在 2048 token 以内、仅占用单个滑动窗口的短上下文场景性能不受影响。

DDTree v5 研究方向

DDTree 是下一个明确的性能优化目标,但必须在 vLLM 中实现该特性的同时,不损失多模态支持、推理能力、工具调用功能、NVFP4 兼容性以及 OpenAI 兼容网关的完整能力。旧版的 qwen36-v5 实验性容器对应的 DDTree 研究方向,已被统一镜像 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 替代,不再适用于生产环境——所有实际部署请直接拉取该统一镜像:

docker pull ghcr.io/aeon-7/aeon-vllm-ultimate:latest

完整的 DDTree 说明文档与实验室进度记录可查看:docs/qwen36-ddtree-card.md。

当前状态可概括为一行:统一 AEON 容器中,生产环境仍采用平 DFlash 链路;DDTree 目前仅用于研究阶段。该统一镜像完整保留了原有 NVFP4、DFlash、多模态、推理、工具调用以及 OpenAI 兼容的 vLLM 全部能力,真正的非平分支提交功能目前仍处于研究阶段。

具体的落地方案可查看 docs/ddtree-vllm-integration-plan.md。M1 阶段的基础脚手架与当前实验性 Docker 上下文位于 container/qwen36-v5-ddtree-experimental/。

DDTree 说明文档记录了以下内容:

  • 容器当前的标签与摘要信息,
  • 当前已实现的功能,
  • 从 M1 到 M53 的全部试错迭代过程,
  • 当前 M53 版本非平分支探测的状态,
  • 分支状态 GDN 重放、融合分支注意力、已接受分支提交环节的已知阻塞问题,
  • 基准测试背景与注意事项,
  • 社区参与最有可能推动项目进展的方向。

原始基准测试文件:

  • bench/results/qwen36_dirty_baseline_eager_20260510T034652Z.json
  • bench/results/qwen36_v4_fi0611_noprefix_full_sweep_20260510T065838Z.json
  • bench/results/qwen36_v4_fi0611_noprefix_true_single_20260510T065020Z.json

DFlash 全量扫描测试使用了覆盖代码生成、数学计算、逻辑推理、散文生成、日常语言、信息抽取/JSON 输出场景的自然提示词,并且特意采用短上下文基准测试配置来隔离解码与调度器行为:--max-model-len 2048、--max-num-seqs 256、禁用前缀缓存、启用思考过程输出、输出 token 数设为 200、每个测试点至少采样 16 次、采用 20% 截尾均值。在生产环境的 DFlash 网关场景中,前缀缓存是否启用取决于工作负载:当大量智能体共享稳定的提示词前缀时,前缀缓存可以带来显著收益;但在 DDTree 研究模式下,为了保证分支状态的正确性,默认保持前缀缓存关闭。


我们针对 DGX Spark 所做的修复

所有 AEON 模型都运行在统一容器 ghcr.io/aeon-7/aeon-vllm-ultimate:latest(等效版本号为 :2026-06-18-v0.23.0-dflashfix;回退版本为 :2026-06-11-pr41703)中:该容器基于 vLLM v0.23.0 从源码针对 GB10 / sm_121a 编译构建,并合并了 AEON 推测解码技术栈。

修复项功能说明在 GB10 平台上的重要意义
DFlash 高并发修复(新增)将推测 Draft 模型的 KV 块表切分为未填充的批处理尺寸先前 Draft 模型在并发请求数 ≥ 32 时会发生崩溃,根源是 FlashAttention 中填充与未填充块表的形状不匹配,现在可稳定扩展至并发数 c=64。该修复移植自上游 PR #43982(该 PR 已针对 MTP 修复,但从未应用于 DFlash),此前的镜像中也存在该问题且未被修复。
Triton NVFP4 KV 缓存(PR #44389)软件实现的 NVFP4 KV 缓存路径sm_121a 平台上唯一可用的 4 位 KV 路径(上游实现被硬编码限制为仅支持 B200),可在每 GB 统一内存下实现约 3 倍 KV 容量提升、支持更长上下文长度。
DFlash 滑动窗口注意力(PR #40898)以原生滑动窗口方式运行 Draft 模型的 SWA 层即使 Agent 上下文不断增长,长上下文的 Draft 结果接受率也可保持稳定,不会在上下文长度接近 2k 时出现性能骤降。
sm_121a 原生构建编译参数为 TORCH_CUDA_ARCH_LIST=12.1a、ENABLE_NVFP4_SM100=0编译生成 GB10 实际可调度的 SM120 系列 CUTLASS NVFP4/FP8 内核,实现真正的 4 位张量核心吞吐量,不含仅适用于 B200 的无效冗余内核。
sm_121a 启动 + CUDA 图补丁采用 RTLD 延迟方式加载 _C_stable_libtorch;对推测解码 CUDA 图捕获尺寸做对齐处理规避 GB10 上不存在的 MXFP4(仅适用于 SM100)符号依赖导致的启动失败,避免推测解码过程中部分结果接受阶段出现 cudaErrorIllegalAddress 错误。
统一内存调优配置 --gpu-memory-utilization ≤0.70、启用完整 CUDA 图、异步调度、集成 z-lab DFlash Draft 模型GB10 的 CPU 与 GPU 共享同一块 LPDDR5X 内存池,保守的 KV 预留容量设置可避免内存页颠簸,同时保留完整 CUDA 图能力与推测解码的高吞吐量。

模型变体

本项目提供 6 种发布格式,可覆盖 DGX Spark、RTX PRO 6000、RTX 5090 以及 Black架构之前的旧硬件:

发布版本大小目标硬件适用场景
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF1651 GBA100 / H100 80 GB · RTX PRO 6000 Blackwell 96 GB你使用 Ampere/Hopper 架构硬件,或需要全精度参考权重
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP426 GB简易 NVFP4 部署场景llm-compressor 格式,使用参数 --quantization compressed-tensors。如需获得最佳 DGX Spark 性能,请搭配 DFlash 配置方案(aeon-vllm-ultimate:latest,n=10)并使用下方的 XS 主体模型。
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP27 GBRTX PRO 6000 Blackwell · B100/B200modelopt 格式,使用参数 --quantization modelopt,通过嫁接的 mtp.* 头实现 MTP 推测解码。视觉编码器保持完整。GDN 线性注意力层保持 BF16 精度,以实现最佳长上下文保真度。
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP26 GBRTX PRO 6000 · 仅文本部署场景与多模态-NVFP4-MTP 配置一致,移除了视觉编码器。GDN 层保持 BF16 精度。
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS21 GBRTX 5090 (32 GB) · 显存容量受限场景采用策略性量化拆分方案:GDN 投影矩阵运算量化为 NVFP4,linear_attn.conv1d 保持 BF16 精度,以保障对循环计算至关重要的 SSM 卷积层精度。视觉编码器保持完整。
https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP-XS20 GBRTX 5090 仅文本场景 · 24 GB 显卡与多模态-XS 版本采用相同的保留 conv1d 精度的策略性量化方案,移除了视觉编码器。是我们发布的体积最小的变体。

以上 6 种格式的底层模型权重完全一致。NVFP4 版本与 BF16 源模型的 KL 散度低于随机采样的噪声阈值,在输出层面无法区分。4 个 MTP 变体均具备相同的 NVFP4 量化质量,且嫁接回了原始 Qwen/Qwen3.6-27B 的 MTP 头并保持 BF16 精度(已验证位精确),用于推测解码 Draft。

标准 MTP 与 XS 版本的差异:这是一项策略性量化选择,而非精度妥协

GatedDeltaNet(GDN / Mamba 风格)linear_attn.* 模块包含两个独立组件:大体积投影矩阵运算(in_proj_qkv、in_proj_z、in_proj_a/b、out_proj,总大小约 11 GB)以及 SSM 一维卷积内核(linear_attn.conv1d,体积很小但对循环计算结果至关重要)。

  • 标准 MTP 变体:将两个组件都保留为 BF16 精度,提供最大数值安全余量,体积更大。
  • XS 变体:将投影矩阵运算量化为 NVFP4(可节省约 6 GB 空间,带宽敏感的矩阵运算场景下使用 FP4 是明确的性能收益方案),但明确保留 linear_attn.conv1d 为 BF16 精度。社区测试中已观测到,将 conv1d 量化为 FP4 会导致长上下文循环计算出现数值漂移,因此我们保持该层为 BF16 精度。该原则与 modelopt 的 NVFP4_DEFAULT_CFG 默认方案一致,也经过 sakamakismile 在其下载量超 2.2 万次的 Qwen3.6-NVFP4-MTP 系列上验证。我们未采用"所有层全量化为 FP4"的方案——该方案是完全不同的路线,我们明确不发布此类不推荐使用的变体。

如果你拥有 ≥48 GB 显存并希望在长上下文工作负载中获得最佳精度,请选择标准版本;如果你使用 24–32 GB 显卡,希望在保持 SSM 内核数值稳定的前提下获得最大 KV 预留空间,请选择 XS 版本。

硬件适配指南:

  • DGX Spark(GB10 / sm_121a) → 搭配 aeon-vllm-ultimate:latest 容器(启用 DFlash,n=10) 以及多模态-NVFP4-MTP-XS 模型主体,这是经过基准测试验证的最优路径。
  • 独立显存 Blackwell 硬件(RTX PRO 6000 / RTX 5090 / B100/B200)→ 当你需要使用嫁接的原生 MTP 头时,选择 MTP 变体(配置 qwen3_5_mtp,n=3)。独立显存的工作机制与 Spark 的统一内存存在差异,请先在本地做基准测试,再直接套用 Spark 平台的参数配置。

目录

  1. 快速开始(DGX Spark / GB10)—— 可直接复制使用
  2. 性能对比:DGX Spark DFlash 与原生基线
  3. 模型变体说明
  4. 项目概述
  5. 最终指标
  6. 硬件兼容性矩阵
  7. 快速入门 — DGX Spark
  8. 快速入门 — A100 / H100(BF16)
  9. 深度解析:去对齐处理方法论
  10. 深度解析:NVFP4 量化
  11. 能力增强:移除"安全税"限制
  12. 配置参考
  13. 责任、仲裁与使用条款
  14. 来源与鸣谢
  15. 许可协议

产品说明

这是 Qwen 3.6 27B 官方确认的无审核版本:我们对对齐开销做了极其精细的剔除处理,最终模型与基础模型的 KL 散度仅为 0.000492——比业界实测的“能力损伤阈值”低三个数量级,甚至低于普通随机采样的噪声底限。在能力类任务上,用户完全无法区分该模型与原版基础模型的差异;在多个可量化维度(思维链保真度、对抗推理带宽、校准诚实度)上,它的表现 更优。

这绝非周末速成的粗略去对齐产物。本版本是 72 小时不间断研究与调优 的成果,过程中我们调度了 数百个并行 AI 研究代理 完成以下工作:

  • 剖析 Qwen 3.5 / 3.6 的混合注意力内部结构:16 层全注意力 + 48 层 GatedDeltaNet / 线性注意力层,attn_output_gate=True 且 q_proj 维度翻倍,以及 FernflowerAI SSM 的 conv1d 离群值模式。
  • 全面梳理训练后干预相关文献:Arditi 等人提出的“拒绝行为为单一方向向量”理论、grimjim 的 NPBA(保范双投影去对齐)方法、Heretic、wuwangzhang 的 abliterix、Huang 等人关于安全税的研究、Xie 等人关于 DGR 安全税缓解方案、投影去对齐扩展方法、缩尾处理启发式规则。
  • 审阅 2024–2026 年所有 arXiv 上关于对齐方向干预、能力保留、混合注意力栈 4 位量化的相关投稿。
  • 遍历 r/LocalLLaMA 社区存档,整理经实践验证的有效/无效方案经验,尤其是多数通用去对齐方案会悄无声息失效的 Mamba / GatedDeltaNet 混合模型场景。
  • 追踪 GitHub 上去对齐工具生态的提交历史图,找到那些修复了公开版本尚未解决 bug 的预发布开发分支。

最终落地的流水线整合了业界所有已公开的最优方法——Arditi 风格的均值差拒绝向量、NPBA、带离群感知缩尾处理的投影去对齐、FernflowerAI 的 SSM conv1d 离群值修复、abliterix v1.4 的多目标 Optuna 搜索——同时加入了为适配 Qwen 3.6 特殊注意力结构自研的定制技术,以及通过与上游维护者直接协作引入的下一代去对齐工具链尚未公开发布的预发布分支。

本次共完成 50 次 Optuna 搜索试验,搭配 10 个维度的能力抽样检查做交叉验证,避免了纯用拒绝率打分无法识别的“低 KL 但生成语无伦次”的过度去对齐陷阱。最终选定第 46 号试验产物——它并非 KL 值最低的试验版本,而是同时做到零拒绝且生成能力完全连贯的最优版本。


最终统计数据

拒绝率(严格对等对比)

指标原版 Qwen3.6-27BAEON-Ultimate
有害提示下的拒绝次数99 / 1000 / 100
结果判定强对齐无审核
合规率1 %100 %

测试集采用 mlabonne/harmful_behaviors 提供的 100 条对抗提示样本,覆盖网络犯罪、***、暴力、自残、仇恨言论、合成指令场景,与基础模型评估使用完全相同的测试分母。

能力保留情况

指标数值
与基础模型前 3 个 token 的 KL 散度0.000492
与基础模型输出长度偏差0.027 σ
10 维度能力抽样检查10 / 10 项全部连贯
数学 · 代码 · 推理 · 知识 · 长文本全部保留

验证覆盖的能力维度:算术应用题、线性代数、微积分、带记忆化的 Python 编程、Rust UTF-8 字符串处理、传递三段论、球棒直觉陷阱、事实回忆、TCP 与 UDP 技术对比、结构化教学类长文本。所有维度的输出都逻辑连贯、结构清晰、以推理为核心——没有循环生成、没有空泛哲学思辨、也没有语无伦次的问题。

KL 散度详细数据

分布指标数值
与基础模型前 3 个 token 的 KL 散度0.000492
缩尾处理分位数0.995(离群感知模式)
投影方式正交 + NPBA 风格投影去对齐
已评估试验数50 次(15 次随机预热 + 35 次 TPE 驱动的 Optuna 搜索)
选定试验编号#46(获胜版本,完全连贯)

去对齐相关文献中公认的“能力损伤阈值”约为 KL ≈ 0.1,而 AEON-Ultimate 的 KL 值比该阈值低 约 200 倍。


硬件兼容性矩阵

合适的变体选择取决于 内存架构,而非仅看 GPU 型号。DGX Spark 设备应使用上方提供的 aeon-vllm-ultimate:latest DFlash 容器;采用独立显存的 Blackwell 设备在需要使用原生 MTP 头时,可以选用 MTP 变体。

[!IMPORTANT] 只有 DGX Spark 设备需要使用 aeon-vllm-ultimate 容器。该镜像为 ARM64 + sm_121a 架构,仅 可在 Spark/GB10 硬件上运行。其余所有场景都需要下载对应权重变体,在你 自行编译的 vLLM 版本(适配本机 CPU + GPU 架构)上部署,无需使用 AEON 容器。“推测解码方式”列标注了你需要在自有 vLLM 中配置的对应参数。

硬件推荐变体选用该变体的原因推测解码方法
DGX Spark / GB10 (sm_121a,统一内存)🏆 https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS 主体 + DFlash + aeon-vllm-ultimate:latest 镜像当前推荐方案。该统一镜像内置了 CUTLASS NVFP4、CUDA 图、DFlash 滑动窗口注意力补丁(PR #40898)、前缀缓存安全版 DFlash(PR #41703)、Qwen3 推理解析以及 Qwen3-Coder 工具解析功能,已替代旧的 qwen36-v3/v4/v5 产品线。通过 https://huggingface.co/z-lab/Qwen3.6-27B-DFlash 草稿模型实现 n=10 的 DFlash 推测解码
B100 / B200 (sm_100,专用 FP4 硬件单元)**https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP**(推荐,GDN BF16 可完整加载)或 https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP通过 tcgen05 / UTCQMMA 实现原生 FP4 运算,是该格式下速度最快的硬件。专用的显存带宽可将 MTP 的高接受率转化为实际吞吐量提升。qwen3_5_mtp n=3(库中已提供移植好 BF16 的头层)
RTX 5090 (sm_120,32 GB 独立显存)使用多模态功能时选 **https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS**(占用 21 GB) · 纯文本场景选 **https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP-XS**(占用 20 GB)常规 MTP 变体(约 27 GB)在 32 GB 显存上留给 KV 缓存的余量不足。XS 变体(conv1d 保留 BF16,投影矩阵运算使用 FP4)可以流畅加载。qwen3_5_mtp n=3
其他 24 GB 显卡 (RTX 4090、RTX 3090、显存 ≤48 GB 的 RTX A6000)**https://huggingface.co/AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP-XS**(占用 20 GB)这是体积最小的变体,适配 Blackwill 架构之前的 sm_ 系列硬件。-

为什么选择 DFlash n=10,且它在长上下文场景下表现稳定: z-lab 的 Qwen3.6-27B DFlash 草稿模型是一个滑动窗口模型——它的 5 层结构中有 4 层使用滑动窗口注意力(窗口大小 2048)。aeon-vllm-ultimate:latest 中集成的 vLLM PR #40898 可以让这些层正常运行滑动窗口注意力;旧镜像会将这些层作为全量注意力运行,导致上下文长度超过约 2048 令牌后推测解码失效。PR #41703 额外实现了 DFlash 与 --enable-prefix-caching 的兼容,完全避免了前缀缓存场景下的数据损坏问题。最终效果是长上下文场景下的推测解码能力保持稳定,短上下文(2048 令牌以内,仅一个窗口)的表现与此前完全一致。在该镜像上完成的 n=8/10/12/15 参数扫描 显示,n=10 是 Spark 语音/对话工作负载的最优值:在单流性能持平的前提下,它的总吞吐量最高(并发数 c=8 时约 198 令牌/秒,此前为 191 令牌/秒),DFlash 接受率也更高(43%,旧的 12 令牌设置为 36%)。而 n=12 与崩溃存在关联:更高的 num_speculative_tokens 会扩大推测解码的验证计算维度,容易触发 Torch-Inductor / CUDA 的设备端断言错误……

步骤 1 — 向 HuggingFace 完成身份验证并下载两个模型

hf auth login # 只需执行一次,粘贴你的 HF 令牌
hf download AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS \
--local-dir ./models/aeon-ultimate-multimodal-nvfp4-mtp-xs
hf download z-lab/Qwen3.6-27B-DFlash \
--local-dir ./models/dflash-drafter

[!NOTE] DFlash 草稿模型采用自动准入机制:首次下载时会提示你点击接受使用条款,审批即时生效。如果你在 2026-04-27 之前下载过该模型,请重新运行下载命令;z-lab 已推送更新版草稿模型,你需要使用新权重。

步骤 2 — 使用 XS 版 docker-compose

本仓库附带的 docker-compose.spark-xs.yml 完全采用上述经过实测验证的配置,核心配置说明如下:

  • 镜像:ghcr.io/aeon-7/aeon-vllm-ultimate:latest(等同于标签 :2026-06-11-pr41703;可回滚到 :2026-06-04-pr44389)。该镜像的 ENTRYPOINT 为 /bin/bash,因此直接使用 docker run 时必须传入 --entrypoint vllm 后接 serve ... 参数(compose 配置中已通过 entrypoint: vllm + command: serve ... 完成适配)。
  • 主体模型:XS 多模态版本(启用 --quantization modelopt)。
  • 推测解码:启用 DFlash,num_speculative_tokens: 10,使用与架构匹配的草稿模型(通过 --speculative-config '{"method":"dflash",...}' 配置),草稿模型注意力后端保持默认值。
  • GB10 专属环境变量:TORCH_CUDA_ARCH_LIST=12.1a、ENABLE_NVFP4_SM100=0、VLLM_USE_FLASHINFER_SAMPLER=1、VLLM_NVFP4_GEMM_BACKEND=flashinfer-cutlass、NVIDIA_FORWARD_COMPAT=1。
  • 默认网关调优参数:--max-model-len 256000 --max-num-seqs 64 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.70(安全默认配置,为 ASR/TTS/嵌入等侧服务预留显存空间,避免统一内存抖动)。
  • 长上下文生产调优参数:--max-model-len 200000 --max-num-seqs 16 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.85(当 LLM 是 GPU 上的唯一主要服务时,为 KV 缓存预留更多空间)。
  • 多模态配置:--limit-mm-per-prompt '{"image":4,"video":2}' --mm-encoder-tp-mode data --mm-processor-cache-type shm。
  • 服务配置:共 5 个别名(aeon-ultimate、qwen36-ultimate、aeon-fast、aeon-deep、aeon-ultimate-xs),所有别名都路由到同一个推理引擎。

步骤 3 — 启动服务

docker compose -f docker-compose.spark-xs.yml up -d
docker compose -f docker-compose.spark-xs.yml logs -f vllm

[!NOTE] 首次启动耗时约 10–12 分钟(包含 FlashInfer NVFP4 GEMM 自动调优与 CUDA 图捕获过程,两者的缓存结果都会存入 /root/.cache/vllm/... 路径)。后续重启仅需 3–5 分钟。启动日志中会出现 MTP 头层检测相关行,但由于配置了 --speculative-config method:"dflash",引擎会自动兼容并正常运行。

步骤 4 — 测试

curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "aeon-ultimate",
"messages": [{"role": "user", "content": "Explain zero-knowledge proofs to a basic-crypto audience."}],
"max_tokens": 512,
"temperature": 0.7
}'

OpenAI 兼容端点地址为 http://localhost:8000/v1。开箱即用地支持工具调用、推理模式(对应 代码块)以及多模态输入。

该组合在 Spark 硬件上表现优异的原因:aeon-vllm-ultimate:latest 将 XS 主体模型、CUTLASS NVFP4、DFlash n=10、CUDA 图、工具解析、推理解析以及多模态支持集成在一个可直接拉取的镜像中,并且通过 PR #40898 让 DFlash 草稿模型的滑动窗口层正常运行,保证长上下文场景下的推测解码能力稳定。这就是本 README 开头标注的基准测试所用的方案。


快速入门 — A100 / H100(BF16)

对于 Ampere / Hopper 架构的显卡,可在标准 vLLM 上运行 BF16 版本发布包。

步骤 1 — 拉取权重

hf download AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 \
--local-dir /opt/models/aeon-ultimate-bf16

步骤 2 — 引入 BF16 版 docker-compose

# docker-compose.bf16.yml
services:
  aeon-ultimate-bf16:
    image: vllm/vllm-openai:latest
    container_name: aeon-ultimate-bf16
    restart: unless-stopped
    network_mode: host
    ipc: host
    runtime: nvidia
    environment:
      NVIDIA_VISIBLE_DEVICES: all
    volumes:
      - /opt/models/aeon-ultimate-bf16:/models/aeon-ultimate:ro
    command:
>
      --model /models/aeon-ultimate
      --served-model-name aeon-ultimate
      --host 0.0.0.0 --port 8000
      --dtype bfloat16
      --max-model-len 131072
      --max-num-seqs 16
      --max-num-batched-tokens 8192
      --gpu-memory-utilization 0.90
      --enable-chunked-prefill
      --enable-auto-tool-choice
      --tool-call-parser qwen3_coder
      --reasoning-parser qwen3
      --attention-backend flash_attn
      --trust-remote-code

步骤 3 — 启动服务

docker compose -f docker-compose.bf16.yml up -d

对于 96 GB 显存的显卡(BF16 链路下的 RTX PRO 6000 Blackwell),请将参数调高为 --max-num-seqs 32 --max-num-batched-tokens 16384 --max-model-len 262144。如果要在 RTX PRO 6000 上使用原生 FP4 吞吐能力,请参考下方专门的 NVFP4 配置方案。


其他硬件配置

上文给出的 DGX Spark 与 BF16 快速入门配置均由 AEON-7 团队实际测试验证。更多硬件的适配配置存放在 other-hardware/ 目录下:每个配置对应一个独立子文件夹,包含经过调优的 docker-compose.yml,以及面向特定硬件的 README 文件,说明该配置与 DGX Spark 基准方案的差异及背后原因。

硬件配置方案状态适用场景
NVIDIA RTX PRO 6000 Blackwell(sm_120,96 GB GDDR7)other-hardware/rtx6000pro/社区适配方案基于原生 sm_120 FP4 张量核心吞吐能力的单卡 NVFP4 部署,其显存独占参数与 DGX Spark 统一内存参数存在差异。

如果你使用的硬件未被当前列表覆盖,想要贡献适配方案,可以参考 other-hardware/rtx6000pro/ 的结构规范:新建对应文件夹,放入调优完成的 docker-compose.yml,以及说明该配置与 DGX Spark 基准方案差异的 README 文档。


深度解读:无损去对齐(Abliteration)实现方法

什么是去对齐(Abliteration)

去对齐是一种训练后干预技术,用于移除模型残差流中的拒绝方向——该线性子空间由 Arditi 等人在 2024 年通过实验识别,负责控制 Transformer 模型拒绝提示词的决策逻辑。该技术能够生效的核心原理是:经过良好对齐的对话模型中,拒绝行为由单一主导方向控制;只要在每一层的残差流中投影去除该方向,模型就会失去进入拒绝行为吸引子的能力。

朴素的实现方案是直接从 o_proj 和 down_proj 权重中减去拒绝方向,虽然能让模型不再生成拒绝内容,但往往会破坏模型本身的能力:过度激进的方向移除会压缩模型能力空间,生成乱码文本甚至陷入无意义循环。现有大量所谓“无审查”的开源模型版本,本质上都是能力受损的失效版本。

实现“无损去对齐”的必要条件

要在移除拒绝能力的同时不破坏模型原有性能,必须正确完成以下四项工作:

  1. 精准识别拒绝方向 — 使用规模足够大的「有害/无害提示词」对比数据集,同时采用支持异常值处理的缩尾(winsorization)算法,避免少数高范数提示词干扰最终生成的 steering 向量。
  2. 正交投影且保持范数不变 — 完整保留模型原本的有用对齐信号(这是 NPBA 算法的核心贡献)。
  3. 在「强度 × 层作用范围」超参数空间内遍历搜索 — 大多数同类项目仅选取单一强度参数就直接发布,而完整方案需要在(拒绝率,KL散度)维度上开展真正的帕累托前沿搜索,找到实现零拒绝率且能力损失最小的实验点。
  4. 开展能力交叉验证 — 仅通过拒绝率关键词评分无法检测到过度去对齐问题。乱码式的无意义输出(比如“我我无法…不行…我我我”)不会匹配任何拒绝关键词标记,这类输出会被优化器误判为符合要求。因此你必须实际运行生成后的模型,完成能力抽样校验。

AEON 流水线完整实现了上述全部四项要求。

AEON 流水线(共 4 个阶段)

Qwen/Qwen3.6-27B(BF16 精度,51 GB,经过重度 RLHF 安全训练)
│
│ 阶段 1 — SSM conv1d 异常值修复(FernflowerAI 方案)
▼
Qwen3.6-27B-base-repaired(8 个高层 SSM 块完成重缩放)
│
│ 阶段 2 — 基于 abliterix v1.4 的去对齐(Optuna 多目标优化)
▼
Qwen3.6-27B-AEON-Ultimate-Uncensored(BF16 精度,51 GB,第 46/50 轮实验)
│
│ 阶段 3 — 能力交叉验证(10 维度抽样校验)
▼
Qwen3.6-27B-AEON-Ultimate-Uncensored(已验证,BF16 正式发布版本)
│
│ 阶段 4 — NVFP4 量化(使用 llm-compressor 工具)
▼
Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4(26 GB,NVFP4 正式发布版本)

阶段 1 — SSM conv1d 异常值修复

FernflowerAI 通过实验发现:Qwen 3.5 / 3.6 混合架构中部分高层 SSM / GatedDeltaNet 块的 linear_attn.conv1d.weight 标准差(σ)比所有 SSM 块的中位值高出 50–100%。如果不进行修复,长上下文推理过程中模型会出现连贯性崩溃、陷入无意义“哲学思辨”循环,同时会让模型对后续的去对齐操作过度敏感,放大噪音干扰。

修复方案:遍历全部 48 个 SSM 层,计算每个块的权重标准差,标记所有 σ

1.5× 中位标准差的块,使用系数 α = median_σ / σ_actual 对权重进行重缩放。

在 Qwen 3.6 27B 模型上,共检测出 8 个异常块:对应层号 52、53、56、57、58、60、61、62,缩放系数 α 介于 0.516 到 0.659 之间。修复完成后,所有 SSM 层的权重标准差统一为 0.04267。

[!IMPORTANT] 该步骤不属于去对齐操作,它是上游模型的缺陷修复环节,必须在去对齐之前运行,避免后续优化器被无关噪音干扰。

阶段 2 — abliterix 多目标去对齐

本次使用的是 https://github.com/wuwangzhang1216/abliterix:它是基于 Heretic 衍生的多目标 Optuna 优化器,原生支持混合注意力架构,运行时使用的配置文件如下:

[steering]
vector_method = "mean"
decay_kernel = "linear"
orthogonal_projection = true
projected_abliteration = true # grimjim 提出的 NPBA 算法
winsorize_vectors = true
winsorize_quantile = 0.995
weight_normalization = "none"
disabled_components = ["attn.q_proj", "attn.k_proj", "attn.v_proj"]
# 禁用 Q/K/V 的原因:Qwen 3.6 开启了 attn_output_gate=True,会让
# q_proj 的输出维度翻倍至 (12288, 5120),与 abliterix 的标准投影算法不兼容。

[steering.component_strength_ranges]
"mlp.down_proj" = [2.0, 10.0]
"attn.o_proj" = [1.0, 6.0]

[kl]
target = 0.005
prune_threshold = 0.5 # 当 KL 散度达到目标值的 100 倍时,提前终止发散的实验

[optimization]
num_trials = 50
num_warmup_trials = 15

本次共完成 50 轮实验(15 轮随机预热 + 35 轮 TPE 算法驱动的优化),通过 Optuna 探索(拒绝率,KL 散度)权衡关系对应的帕累托前沿。实际耗时:在单张 RTX PRO 6000 Blackwell 96 GB 显卡上运行约 4 小时。

阶段 3 — 能力交叉验证(警惕过度去对齐陷阱)

团队最初测试了一个更激进的帕累托实验点:第 17 轮,拒绝率 0/100,KL 散度仅为 0.00192,但该模型生成的内容完全是乱码式的失效输出(类似“这里我我不能…不行…我我我…”)。而 abliterix 仅基于关键词的拒绝评分完全没有识别到该问题:这些无意义内容不会匹配任何拒绝标记,因此优化器误判其完全符合要求。

专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告