llama

Llama Docker 镜像

该Docker镜像基于最新llama.cpp主分支构建,支持多Token预测(MTP)技术,提供CUDA、Vulkan等多种GPU后端,可快速部署高性能大语言模型推理服务。

下载次数: 0状态:社区镜像维护者:havenoammo仓库类型:镜像最近更新:
下载命令
点击查看

支持多Token预测(MTP)的llama.cpp Docker镜像

本Docker镜像基于https://github.com/ggml-org/llama.cpp最新主分支构建,全面支持**多Token预测(MTP)**技术,包括图像输入功能及官方版本尚未包含的近期bug修复。


什么是MTP?

多Token预测(MTP)是一种推测解码技术,允许模型在单次前向传递中预测多个Token,在不损失质量的前提下显著提升推理速度。使用MTP需要兼容MTP的服务器构建版本和包含MTP草稿层的模型。


可用标签

标签后端
havenoammo/llama:cuda13-serverNVIDIA CUDA 13
havenoammo/llama:cuda12-serverNVIDIA CUDA 12
havenoammo/llama:vulkan-serverVulkan(跨平台GPU)
havenoammo/llama:intel-serverIntel GPU(SYCL)
havenoammo/llama:rocm-serverAMD ROCm

注意:这些镜像由社区构建,主要在CUDA 13上测试。其他后端应可工作但测试较少,欢迎反馈。


兼容模型

Unsloth MTP模型(量化MTP层)

  • https://huggingface.co/unsloth/Qwen3.6-27B-MTP-GGUF
  • https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF

Q8 MTP模型(全Q8 MTP层,提升预测精度)

  • https://huggingface.co/havenoammo/Qwen3.6-27B-MTP-UD-GGUF
  • https://huggingface.co/havenoammo/Qwen3.6-35B-A3B-MTP-GGUF

Q8变体将MTP层保持为全Q8量化,可提升推测解码精度,但会略微增加VRAM使用。


快速启动

bash
docker run --gpus all --rm \
    -p 8080:8080 \
    -v ./models:/models \
    docker.xuanyuan.run/havenoammo/llama:cuda13-server \
    -m /models/Qwen3.6-27B-MTP-UD-Q8_K_XL.gguf \
    --port 8080 \
    --host 0.0.0.0 \
    -n -1 \
    --parallel 1 \
    --ctx-size 262144 \
    --fit-target 844 \
    --mmap \
    -ngl -1 \
    --flash-attn on \
    --metrics \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --jinja \
    --chat-template-kwargs '{"preserve_thinking":true}' \
    --ubatch-size 512 \
    --batch-size 2048 \
    --cache-type-k q8_0 \
    --cache-type-v q8_0 \
    --spec-type mtp \
    --spec-draft-n-max 3

可根据需要调整参数。对MTP最重要的参数是--spec-type mtp和--spec-draft-n-max 3。


从官方llama.cpp镜像切换

如果您已在使用官方ghcr.io/ggml-org/llama.cpp镜像,切换非常简单:只需将镜像名称替换为上述相应标签,服务器参数和模型路径保持不变。


反馈

如果您在特定后端遇到问题,欢迎发起讨论。关于哪些硬件和配置可正常工作的报告尤其有帮助。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 llama 镜像标签

docker pull docker.xuanyuan.run/havenoammo/llama:<标签>

DockerHub 原生拉取命令

docker pull havenoammo/llama:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告