tcclaviger/vllm

tcclaviger/vllm — ROCm/RDNA4优化的vLLM镜像（含量化工具与调优器）

镜像概述

本镜像基于vLLM v24版本（Torch 2.11 / ROCm 7.2.3）构建，针对ROCm/RDNA4架构（如gfx1201/Radeon R9700）优化。集成量化工具、模型调优器及增强服务功能，通过入口点标志切换工具：无标志时运行vllm serve（兼容现有vLLM部署），支持量化（quantize）、调优（tune）、性能测试（test）等场景。

核心功能

增强服务能力

1. GDN侧缓存：为混合Mamba/GDN模型恢复前缀缓存中的递归状态，解决原生vLLM前缀缓存未恢复GDN状态的问题，提升工具调用等场景准确性。
2. 重复循环检测：默认开启，检测并终止重复token序列，返回finish_reason: "repetition"，可通过--degen-max-period 0关闭。
3. DRY重复惩罚：基于llama.cpp的序列级惩罚，抑制循环而不影响正常重复词，支持服务端全局配置（--dry-multiplier 0.8）和单请求覆盖。
4. RDNA4 FP8线性核：针对gfx12架构优化的FP8块缩放GEMM核，提升推理效率，非gfx12架构自动回退。
5. AutoGPTQ修复：解决AutoGPTQ原生模型加载时的qzeros转置问题，确保模型正常运行。
6. 自调优注意力核：启动时自动针对部署形状（头维度、KV缓存 dtype等）优化注意力核，无需预配置。

量化工具

1. RFA量化：IQ4-NL网格+块浮点组缩放（4.5 bpw），支持Hadamard旋转，适合MoE模型。
2. MXFP4-16量化：IQ4-NL网格+FP16组缩放（5.0 bpw），兼容旧版本场景。
3. RFI量化：全int8计算，支持8/6/2 bit混合位宽，适合低显存场景。
4. mixedQuant：复合量化路由，允许每层使用不同量化方案（如RFA专家层+RFI注意力层）。

调优与测试工具

1. --tune：针对RDNA4量化GEMM/MoE核调优，生成适配GPU的配置JSON，提升推理性能。
2. --test --ppl：通过WikiText-2数据集测量实时端点的困惑度，评估量化质量。

使用场景

• 部署混合GDN模型（如Qwen3.5/Qwen3-Next），利用GDN侧缓存提升前缀缓存效果。
• 量化大模型以适配ROCm GPU，减少显存占用。
• 调优模型核配置，提升推理吞吐量与延迟表现。
• 测试量化模型的困惑度，验证量化对模型质量的影响。

配置说明与示例

查看扩展标志

bash
docker run --rm docker.xuanyuan.run/tcclaviger/vllm:latest --flags

启动服务

bash
docker run --rm --device /dev/kfd --device /dev/dri --group-add docker.xuanyuan.run/video \
  -v /models/MyModel:/model \
  tcclaviger/vllm:latest \
  /model --tensor-parallel-size 2 --port 8000

量化模型（RFA方案）

bash
docker run --rm --device /dev/kfd --device /dev/dri --group-add docker.xuanyuan.run/video \
  -v /models/Qwen3.5-MoE:/model \
  tcclaviger/vllm:latest \
  --quantize --rfa --gpu-all --input /model --output /model-RFA

调优模型核配置

bash
docker run --rm --device /dev/kfd --device /dev/dri --group-add docker.xuanyuan.run/video \
  -v /models/MyModel-RFA:/model \
  tcclaviger/vllm:latest --tune \
    --modelpath /model --outputpath /model/configs --tp 2 --gpucount 2

测试困惑度

bash
# 启动服务（端口8078）
docker run --rm --device /dev/kfd --device /dev/dri --group-add video \
  -v /models/MyModel-RFA:/model -p 8078:8078 \
  tcclaviger/vllm:latest /model --port 8078

# 运行困惑度测试
docker run --rm --device /dev/kfd --device /dev/dri --group-add video \
  -e PPL_ENDPOINT=http://localhost:8078 \
  tcclaviger/vllm:latest --test --ppl