ghcr.io/dominikbucko/qwen38-flash-next-3090

ghcr.io/dominikbucko/qwen38-flash-next-3090:v0.1.0

ghcr.iolinux/amd64v0.1.0大小: 8.27 GB更新于 2026年11月20日

单张 RTX 3090(24 GB)+ 64 GB RAM 运行 Qwen3.8-Flash-Next

2100 tok/s 预填充 · 47 tok/s 解码 · 128K 上下文 单张 RTX 3090 24 GB · 64 GB 系统内存 · vLLM · OpenAI 兼容 API · Docker 单请求、取最优2次测试:*** token 的提示词首 token 生成耗时 62 秒(2106 tok/s),后续解码速度为 47.4 tok/s。

下载 checkpoint · 快速入门 · 工作原理 · 常见问题 · 双 GPU 方案?

在最常见的本地 AI 设备上,使用单张 RTX 3090 和 64 GB 内存在本地运行 Qwen3.8-Flash-Next。该 checkpoint 采用 INT4 专家权重、FP8 嵌入表,总大小为 125 GB,约为显卡显存容量的 5 倍。本运行时将注意力权重、全连接层权重以及每一层中 32 个最繁忙的专家权重保存在 GPU 上,解码过程中 CPU 直接从内存中计算其余专家。预填充阶段,所有专家权重会通过 GPU 流式处理,因此长提示词仍可保持高速运行。配合 INT8 KV 缓存,可支持完整的 128K 上下文。

本运行时所用的 checkpoint 和 vLLM 构建版本与 https://github.com/DominikBucko/qwen38-flash-next-2x3090 完全一致,仅针对减半的硬件配置重新打包,未对模型进行任何剪枝或重新量化操作。

测试结果

测试环境为单张 RTX 3090,整机内存限制为 64 GB(服务器容器限制为 56 GiB),使用正式发布镜像、默认配置文件,每次仅处理 1 个请求,采用贪心解码搭配 MTP 推测解码。在全新启动服务后执行两轮测试,一轮使用本地构建镜像,一轮使用通过摘要拉取的官方发布镜像,结果如下:

请求(输入 + 输出 token 数)首 token 耗时预填充速度解码速度
*** + 51262.2 / 90.3 s2106 / 1451 tok/s47.4 / 43.3 tok/s
32799 + 51215.3 / 14.8 s2141 / 2219 tok/s50.3 / 49.5 tok/s
8218 + 10245.2 / 5.7 s1570 / 1452 tok/s49.1 / 48.5 tok/s
4127 + 256,启动后首个请求3.3 / 3.4 s1258 / 1231 tok/s47.8 / 50.8 tok/s

GPU 显存峰值占用为 23.4 GB,所有请求均未被抢占。当 NVMe 上的专家权重读取操作与 GPU 工作负载重叠时,预填充速度可达 2100–2200 tok/s;部分请求会走较慢路径,速度约为 1450 tok/s(上述第二轮 131K 测试和两次 8K 请求均属于此类情况)。详见已知问题。

解码速度主要取决于内存带宽,原因是冷专家的计算由 CPU 执行。在将服务限制在基准 32 核 CPU 的部分核心上运行时,结果如下:

可用 CPU 核心数对应参考机型131K 提示词预填充速度解码速度
32(4 个 CCD),2 轮测试基准工作站1451–2106 tok/s43–51 tok/s
16(2 个 CCD),2 轮测试Ryzen 9 7950X / 9950X1452–2104 tok/s39–47 tok/s
8(1 个 CCD),旧版本镜像Ryzen 7 7800X3D / 9700X2149 tok/s34–36 tok/s

以上测试均基于相同的 Zen 3 架构核心和 DDR4 内存。桌面端 Zen 4/5 平台及搭配 DDR5 内存的 Intel CPU 单核心内存带宽更高,表现可能更优。详见基准测试报告和硬件说明,也欢迎你https://github.com/DominikBucko/qwen38-flash-next-3090/issues/new?template=hardware-report.yml。

若加装第二张 RTX 3090,在相同 64 GB 内存下,https://github.com/DominikBucko/qwen38-flash-next-2x3090 可实现 3410 tok/s 预填充速度和 84 tok/s 解码速度(其https://github.com/DominikBucko/qwen38-flash-next-2x3090#new-64-gb-ram-profile,在两张显卡上采用本运行时的设计逻辑);若搭配 128 GB 内存,性能最高可达 4191 tok/s 预填充速度和 111.5 tok/s 解码速度。

环境要求

  • GPU: 单张 24 GB 显存的 NVIDIA 显卡(已在 RTX 3090 上测试通过;RTX 3090 Ti、RTX 4090 及其他 24 GB 显存显卡理论上均可运行)。
  • 内存: 64 GB。若配备 96 GB 或更多内存,所有专家权重可全部驻留内存。
  • CPU: 支持 AVX2 的 x86-64 处理器(2013 年之后发布的所有 Ryzen、Intel Core 处理器均满足要求)。
  • 磁盘: 剩余空间约 130 GB 的 NVMe SSD:服务运行过程中会持续读取 checkpoint 数据。
  • 软件: Linux 系统、Docker、NVIDIA Container Toolkit,以及 580 或更高版本的 NVIDIA 驱动。

快速入门

将 checkpoint(约 129 GB)下载到 NVMe 驱动器上,执行下载前需先通过 pip install -U huggingface_hub 安装 hf 工具。

hf download albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE \
--revision ef554143369a706525336f6b42a09094835dc077 \
--local-dir /models/qwen38-flash-next

构建并启动服务:

git clone https://github.com/DominikBucko/qwen38-flash-next-3090.git
cd qwen38-flash-next-3090
cp .env.example .env # 将 MODEL_DIR 配置为你下载 checkpoint 的目录

make build-image
make serve

make serve 命令会先执行 scripts/preflight.sh 脚本,检查 GPU、内存、CPU、驱动和磁盘状态。服务首次启动时需要编译内核,耗时较长,约 4 分钟后即可就绪,监听地址为 http://127.0.0.1:8000/v1。

若不想本地构建镜像,可直接使用官方发布的 v0.1.0 镜像(权重文件仍需单独下载):

IMAGE=ghcr.io/dominikbucko/qwen38-flash-next-3090@sha256:7f176605b59c462af21b1b62fd854f9f3cca96e3d11a295581297483d45490a3 make serve

后续版本的镜像摘要会在https://github.com/DominikBucko/qwen38-flash-next-3090/releases中列出。

验证服务并测试你的设备性能:

python3 scripts/smoke_test.py # 测试推理回答、工具调用、代码生成能力
make bench # 运行 4K、32K、131K 和 8K 提示词的基准测试
curl http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{
"model": "Qwen3.8-Flash-Next",
"messages": [{"role": "user", "content": "用三句话解释混合专家模型。"}]
}'

所有兼容 OpenAI 接口规范的客户端均可通过基础地址 http://127.0.0.1:8000/v1 调用服务。工具调用、推理输出(reasoning_content)和前缀缓存功能均默认开启。

资源占用分布

存储位置存储内容
GPU,峰值占用 23.4 GB注意力权重、循环权重与全连接层权重(9.8 GB)、每层 32 个热专家权重(3.9 GB)、MTP 草稿权重、可容纳 *** token 的 INT8 KV 缓存(3.05 GB)
RAM,容器限制 56 GiB23040 个冷专家中的 *** 个(46 GiB,使用巨页内存)、服务进程、页缓存
NVMeFP8 分层嵌入表(51 GB)和 3560 个最少使用的专家权重,直接从 checkpoint 文件中原位读取
  • 解码阶段: 每一层中,GPU 负责运行热专家,绑定 CPU 的线程池使用 AVX2 指令集、FP32 累加方式计算冷专家,GPU 等待期间会通过 PCIe 自行计算约 22% 的冷专家。MTP 每步生成 3 个草稿 token。解码过程中用到的 NVMe 上的专家权重会逐步加载到内存中。
  • 预填充阶段: 按 8192 token 分块处理;每一层的冷专家以 80 个为一组复制到 GPU(传输速度约 27 GB/s),转换为 GPU 内核所需布局后在 GPU 上计算,同时与下一批数据的复制操作重叠执行。

运行时会根据你的设备配置自动选择 CPU 核心和内存 arena 大小。更多细节见工作原理 · 调优与故障排查。

内存不足处理方案

  • GPU: 默认配置峰值显存占用为 24 GB 中的 23.4 GB。如果该显卡同时承载桌面显示输出,可在 .env 文件中将 QWEN38_HOT_ONLY 从 32 调低至 28(可减少约 465 MiB 显存占用),或缩短上下文长度。详见显存配置。
  • 内存: 容器默认可用内存为整机内存减去 8 GiB(MEMORY_LIMIT=auto),并据此适配专家权重的内存 arena 大小。若要为其他程序预留更多内存,可设置 MEMORY_LIMIT=48g 或 HOST_RESERVE_GIB=12,但后续会有更多专家权重驻留在 NVMe 上。

[!IMPORTANT] 以下为当前版本的已知限制:

  • 同一时间仅处理 1 个请求(其余请求进入队列等待),单请求最大支持 *** token。
  • 仅在指定设备上完成测试:搭载 32 核 Threadripper PRO、限制 64 GB 内存的 RTX 3090 工作站。桌面级 CPU 和其他 24 GB 显存 GPU 尚未完成测试,欢迎https://github.com/DominikBucko/qwen38-flash-next-3090/issues/new?template=hardware-report.yml。
  • 首次启动时会编译 GPU 内核;输入新的长提示词后的前约 64 步解码速度会较慢,此时内存 arena 正在完成自适应调整。
  • 部分预填充请求会走较慢路径(每 8192 token 块耗时约 5.5 秒而非 3.7 秒),该问题根因仍在定位中,详见基准测试报告。
  • INT8 KV 缓存仅通过贪心解码结果对齐性完成验证(误差处于 BF16 精度下的运行波动范围内),尚未进行似然度计算或基准套件对比测试。
  • 仅支持 Linux 系统。

相关资源

  • https://github.com/DominikBucko/qwen38-flash-next-2x3090:在两张 RTX 3090 上运行同一模型,搭配 64 GB 内存时使用https://github.com/DominikBucko/qwen38-flash-next-2x3090#new-64-gb-ram-profile,可实现 3410 tok/s 预填充、84 tok/s 解码、128K 上下文;搭配 128 GB 内存时,性能最高可达 4191 tok/s 预填充、111.5 tok/s 解码,最大支持 256K 上下文。
  • https://huggingface.co/albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE:对应 checkpoint(采用 Intel AutoRound W4A16 目标量化、FP8 PLE 嵌入表、INT4 MTP 草稿权重)。

许可证

本运行时代码采用 Apache-2.0 许可证发布。模型本身需遵守上游 Qwen 及THIRD_PARTY_NOTICES.md 中列出的第三方许可条款。

专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告