capicua25x/vllm-rocm-rdna4

vLLM 0.19.1 适用于 AMD RDNA4 (gfx1201)

这是一个可直接运行的 vLLM 推理引擎镜像，专为 AMD Radeon AI PRO R9700 / RDNA4 (gfx1201) 显卡设计，支持从单个镜像中提供 两种量化家族 的模型服务：

• MXFP4 — 例如 Qwen3.6-35B-A3B
• NVFP4 — 例如 Gemma-4-26B-A4B（支持 fp8-KV 缓存、head-512 闪存预填充内核和 MTP 推测解码）

自带模型（BYO） — 镜像中未内置任何模型权重，运行时需挂载您的 Hugging Face 缓存目录。

🙏 基于 Rob Smith 的 RDNA4 工作构建

本镜像基于 tcclaviger/vllm-rocm-mxfp4-nvfp4 构建（来自 Rob Smith 的 RDNA4 MXFP4/NVFP4 基础镜像）。Rob 首先实现了 gfx1201 的支持（hipBLASLt 1.2 + MXFP4/NVFP4 MoE 内核）；整个引擎是他的 vLLM RDNA4 工作的 向前移植和扩展。没有 Rob 的工作，这一切都不可能存在。

快速开始

请自行准备模型 — 先将模型下载到您的 HF 缓存中（huggingface-cli download <repo>），然后根据量化类型运行完整的启动命令。以下每个代码块都是完整可复制的，包含已验证的示例模型，无遗漏参数。

MXFP4（Qwen）

bash
docker run --rm --network=host \
  --device=/dev/kfd --device=/dev/dri \
  --group-add=video --group-add=render --ipc=host \
  --security-opt=no-new-privileges --cap-drop=ALL --cap-add=DAC_READ_SEARCH --cap-add=IPC_LOCK --ulimit memlock=-1 \
  -e HF_HUB_OFFLINE=1 -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  docker.xuanyuan.run/capicua25x/vllm-rocm-rdna4:0.19.1 \
  --model pahajokiconsulting/Qwen3.6-35B-A3B-MXFP4 \
  --served-model-name qwen --port 8011 --trust-remote-code \
  --tensor-parallel-size 2 --gpu-memory-utilization 0.92 --max-model-len 262144 \
  --attention-backend TRITON_ATTN --enable-prefix-caching --max-num-seqs 64 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}'

NVFP4（Gemma-4）

bash
docker run --rm --network=host \
  --device=/dev/kfd --device=/dev/dri \
  --group-add=video --group-add=render --ipc=host \
  --security-opt=no-new-privileges --cap-drop=ALL --cap-add=DAC_READ_SEARCH --cap-add=IPC_LOCK --ulimit memlock=-1 \
  -e HF_HUB_OFFLINE=1 -e VLLM_FA_HEADCHUNK=64 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  docker.xuanyuan.run/capicua25x/vllm-rocm-rdna4:0.19.1 \
  --model RedHatAI/gemma-4-26B-A4B-it-NVFP4 \
  --served-model-name gemma --port 8011 --trust-remote-code \
  --attention-backend TRITON_ATTN --tensor-parallel-size 2 --gpu-memory-utilization 0.92 --max-model-len 262144 \
  --enable-prefix-caching --max-num-seqs 64 --kv-cache-dtype fp8 \
  --enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4 \
  --compilation-config '{"cudagraph_mode":"FULL_DECODE_ONLY"}' \
  --speculative-config '{"model":"google/gemma-4-26B-A4B-it-assistant","method":"mtp","num_speculative_tokens":3}'

--attention-backend TRITON_ATTN 对于 gfx1201 至关重要 — 0.19.1 默认的 ROCM_ATTN 在并发时会降低推测解码吞吐量。NVFP4/Gemma 路径还需要 --kv-cache-dtype fp8（支持 256k 长上下文）和 -e VLLM_FA_HEADCHUNK=64（head-512 闪存预填充内核）。

更多详细信息（完整构建流程、补丁、各量化类型的启动参数、基准测试和常见问题）请参见 **https://github.com/Capicua25x/vllm-rocm-rdna4**。

已验证模型

标签

• 0.19.1 / latest — 完整引擎（支持 MXFP4 + NVFP4）

许可证与致谢

Apache-2.0 许可证。基于 Rob Smith / https://hub.docker.com/r/tcclaviger/vllm-rocm-mxfp4-nvfp4 的 RDNA4 基础镜像构建 — 整个引擎是他的 vLLM RDNA4 工作的向前移植。 使用了 https://github.com/vllm-project/vllm、AMD ROCm、Triton、PyTorch 和 Transformers。head-512 闪存预填充内核参考了 https://github.com/ggml-org/llama.cpp 的设计。完整致谢请参见 https://github.com/Capicua25x/vllm-rocm-rdna4/blob/master/NOTICE。