hdnh2006/llama.cpp-full-cuda
hdnh2006
这是一个带CUDA GPU加速的llama.cpp Docker镜像，集成***隧道、nvitop等工具，支持部署GLM-4.7-Flash、Qwen3-14B等***格式大语言模型并通过HTTPS对外提供服务。
下载次数: 0状态：社区镜像维护者：hdnh2006仓库类型：镜像最近更新：1 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
llama.cpp（CUDA Docker镜像）
!llama
基于ghcr.io/ggml-org/llama.cpp:full-cuda构建的GPU加速llama.cpp Docker镜像
包含工具：****（隧道服务）、nvitop（GPU监控）、wget/nano（基础工具）
默认入口点：//bash
✅ Docker镜像地址
hdnh2006/llama.cpp-full-cuda:latest
🚀 快速启动
bashdocker run -it --rm --gpus all --name llama.cpp hdnh2006/llama.cpp-full-cuda:latest
⚡ 推荐运行方式（主机网络+完整共享内存）
bashdocker run -it --rm --gpus all --network host --ipc=host --name llama.cpp hdnh2006/llama.cpp-full-cuda:latest
🌐 ***隧道示例
bashcloudflared tunnel --url http://localhost:8000
🧠 示例：GLM-4.7-Flash（***格式）
下载模型
bashhf download unsloth/GLM-4.7-Flash-GGUF GLM-4.7-Flash-UD-Q4_K_XL.gguf --local-dir /workspace/models/GLM-4.7-Flash
启动服务
bash./llama-server -m /workspace/models/GLM-4.7-Flash/GLM-4.7-Flash-UD-Q4_K_XL.gguf --jinja -ngl 99 --threads -1 -fa on --temp 0.7 --min-p 0.01 --top-p 1.0 --top-k 20 --repeat-penalty 1.0 --ctx-size 200000 --host 0.0.0.0 --port 8000 --alias GLM-4.7-Flash --api-key sk-12345
🧠 示例：Qwen3-14B（***格式）
下载模型
bashhf download Qwen/Qwen3-14B-GGUF Qwen3-14B-Q4_K_M.gguf --local-dir /workspace/models/Qwen3-14B
启动服务
bash./llama-server -m /workspace/models/Qwen3-14B/Qwen3-14B-Q4_K_M.gguf -ngl 99 -fa on -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 --presence-penalty 1.5 -c 40960 -n 32768 --no-context-shift --port 11434 --host 0.0.0.0 --alias Qwen3-14B -np 20 --api-key sk-12345
📌 注意事项
- 该镜像基于官方llama.cpp full-cuda构建
- 默认入口点为
/bin/bash - llama相关二进制文件位于
/app目录
🔗 上游项目
https://github.com/ggml-org/llama.cpp
若需要包含标签列表、Dockerfile部分或Vast.ai模板，请告知以补充相关内容。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 llama.cpp-full-cuda 镜像标签
docker pull docker.xuanyuan.run/hdnh2006/llama.cpp-full-cuda:<标签>
DockerHub 原生拉取命令
docker pull hdnh2006/llama.cpp-full-cuda:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"