ghcr.io/ggml-org/llama.cpp:light-openvino-b10200
ghcr.iolinux/amd64light-openvino-b10200大小: 544.71 MB更新于 2026年8月2日
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
llama.cpp
C/C++ 实现的 LLM 推理
快速开始
以下是在您的机器上安装 llama.cpp 的几种方式：
- 访问 [***] 并按照说明操作
- 使用 Docker 运行 - 参见我们的 Docker 文档
- 从 https://github.com/ggml-org/llama.cpp/releases 下载预构建二进制文件
- 通过克隆此仓库从源代码构建 - 查看 构建指南
安装完成后：
# 直接从 Hugging Face 下载并运行模型
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# 启动兼容 OpenAI 的 API 服务器
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
使用 llama cli 进行 VLM 会话
基于 llama serve 的内置 Web UI
描述
llama.cpp 的主要目标是在各种硬件上（本地和云端）以最小的设置实现 LLM（和 VLM）推理，并提供最先进的性能。
- 纯 C/C++ 实现，无任何依赖
- Apple silicon 是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化
- 针对 x86 架构支持 AVX、AVX2、AVX512 和 AMX
- 针对 RISC-V 架构支持 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE
- 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，以实现更快的推理并减少内存使用
- 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU，通过 MUSA 支持摩尔线程 GPU）
- 支持 Vulkan 和 SYCL 后端
- CPU+GPU 混合推理，可部分加速大于总 VRAM 容量的模型
llama.cpp 项目基于 https://github.com/ggml-org/ggml 库构建。
支持的后端
| 后端 | 目标设备 |
|---|---|
| BLAS | 所有设备 |
| BLIS | 所有设备 |
| CANN | 昇腾 NPU |
| CUDA | Nvidia GPU |
| HIP | AMD GPU |
| Hexagon [开发中] | Snapdragon |
| IBM zDNN | IBM Z & LinuxONE |
| MUSA | 摩尔线程 GPU |
| Metal | Apple Silicon |
| OpenCL | Adreno GPU |
| OpenVINO [开发中] | Intel CPU、GPU 和 NPU |
| https://github.com/ggml-org/llama.cpp/tree/master/tools/rpc | 所有设备 |
| SYCL | Intel GPU |
| VirtGPU | VirtGPU APIR |
| Vulkan | GPU |
| WebGPU | 所有设备 |
| ZenDNN | AMD CPU |
文档
工具
- 命令行工具
- 补全工具
- 服务器
- GBNF 语法
开发
- 如何构建
- 在 Docker 上运行
- 在 Android 上构建
- 多 GPU 使用
- 性能问题排查
- https://github.com/ggml-org/llama.cpp/wiki/GGML-Tips-&-Tricks
- XCFramework
- 补全功能
- 模型
贡献
- 贡献者可以提交 PR
- 将根据贡献邀请协作者
- 维护者可以推送到
llama.cpp仓库的分支，并将 PR 合并到master分支 - 非常感谢任何在问题、PR 和项目管理方面的帮助！
- 有关更多信息，请阅读 CONTRIBUTING.md
致谢
- https://github.com/yhirose/cpp-httplib - 单头文件 HTTP 服务器，供
llama-server使用 - MIT 许可证 - https://github.com/nothings/stb - 单头文件图像格式解码器，供多模态子系统使用 - 公共领域
- https://github.com/nlohmann/json - 单头文件 JSON 库，供各种工具/示例使用 - MIT 许可证
- https://github.com/mackron/miniaudio - 单头文件音频格式解码器，供多模态子系统使用 - 公共领域
- https://github.com/sheredom/subprocess.h - 用于 C 和 C++ 的单头文件进程启动解决方案 - 公共领域
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"