havenoammo查看 Docker Hub 原文页
该Docker镜像基于最新llama.cpp主分支构建,支持多Token预测(MTP)技术,提供CUDA、Vulkan等多种GPU后端,可快速部署高性能大语言模型推理服务。
下载次数: 0状态:社区镜像维护者:havenoammo仓库类型:镜像最近更新:
支持多Token预测(MTP)的llama.cpp Docker镜像
本Docker镜像基于https://github.com/ggml-org/llama.cpp最新主分支构建,全面支持**多Token预测(MTP)**技术,包括图像输入功能及官方版本尚未包含的近期bug修复。
什么是MTP?
多Token预测(MTP)是一种推测解码技术,允许模型在单次前向传递中预测多个Token,在不损失质量的前提下显著提升推理速度。使用MTP需要兼容MTP的服务器构建版本和包含MTP草稿层的模型。
可用标签
| 标签 | 后端 |
|---|---|
havenoammo/llama:cuda13-server | NVIDIA CUDA 13 |
havenoammo/llama:cuda12-server | NVIDIA CUDA 12 |
havenoammo/llama:vulkan-server | Vulkan(跨平台GPU) |
havenoammo/llama:intel-server | Intel GPU(SYCL) |
havenoammo/llama:rocm-server | AMD ROCm |
注意:这些镜像由社区构建,主要在CUDA 13上测试。其他后端应可工作但测试较少,欢迎反馈。
兼容模型
Unsloth MTP模型(量化MTP层)
- https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF
- https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF
Q8 MTP模型(全Q8 MTP层,提升预测精度)
- https://huggingface.co/havenoammo/Qwen3.6-27B-MTP-UD-GGUF
- https://huggingface.co/havenoammo/Qwen3.6-35B-A3B-MTP-GGUF
Q8变体将MTP层保持为全Q8量化,可提升推测解码精度,但会略微增加VRAM使用。
快速启动
bashdocker run --gpus all --rm \ -p 8080:8080 \ -v ./models:/models \ docker.xuanyuan.run/havenoammo/llama:cuda13-server \ -m /models/Qwen3.6-27B-MTP-UD-Q8_K_XL.gguf \ --port 8080 \ --host 0.0.0.0 \ -n -1 \ --parallel 1 \ --ctx-size 262144 \ --fit-target 844 \ --mmap \ -ngl -1 \ --flash-attn on \ --metrics \ --temp 1.0 \ --top-p 0.95 \ --top-k 20 \ --jinja \ --chat-template-kwargs '{"preserve_thinking":true}' \ --ubatch-size 512 \ --batch-size 2048 \ --cache-type-k q8_0 \ --cache-type-v q8_0 \ --spec-type mtp \ --spec-draft-n-max 3
可根据需要调整参数。对MTP最重要的参数是--spec-type mtp和--spec-draft-n-max 3。
从官方llama.cpp镜像切换
如果您已在使用官方ghcr.io/ggml-org/llama.cpp镜像,切换非常简单:只需将镜像名称替换为上述相应标签,服务器参数和模型路径保持不变。
反馈
如果您在特定后端遇到问题,欢迎发起讨论。关于哪些硬件和配置可正常工作的报告尤其有帮助。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull havenoammo/llama:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务