ghcr.io/ggml-org/llama.cpp:server-vulkan-b11434

llama.cpp

基于 C/C++ 实现的大语言模型推理框架

快速开始

以下是在本地设备上安装 llama.cpp 的几种可选方式：

# 通过 curl 安装
curl -LsSf https://llama.app/install.sh | sh

# 通过 PowerShell 安装
irm https://llama.app/install.ps1 | iex

• 访问 [***] 并按照页面指引操作
• 使用 Docker 运行：参阅 Docker 文档
• 从 https://github.com/ggml-org/llama.cpp/releases 下载预构建二进制包
• 克隆本仓库从源码构建：查阅 构建指南

安装完成后即可执行以下操作：

# 直接从 Hugging Face 下载并运行模型
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# 启动兼容 OpenAI 接口的 API 服务
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

通过 llama cli 启动多模态大语言模型（VLM）会话 内置 Web UI 可对接 llama serve 服务端

项目说明

llama.cpp 的核心目标是用最低的配置成本，在各类硬件（本地及云端）上实现 LLM（及 VLM）推理，同时提供业界领先的性能表现。

• 纯 C/C++ 实现，无任何外部依赖
• Apple Silicon 为一等支持平台：通过 ARM NEON、Accelerate 与 Metal 框架完成深度优化
• x86 架构支持 AVX、AVX2、AVX512 和 AMX 指令集
• RISC-V 架构支持 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE 扩展
• 支持 1.5-bit、2-bit、3-bit、4-bit、5-bit、6-bit 及 8-bit 整型量化，可提升推理速度并降低内存占用
• 自定义 CUDA 内核支持在 NVIDIA GPU 上运行大语言模型（同时支持通过 HIP 适配 AMD GPU，通过 MUSA 适配摩尔线程 GPU）
• 提供 Vulkan 和 SYCL 后端支持
• 支持 CPU+GPU 混合推理，可对超出显卡总显存容量的模型实现部分加速

llama.cpp 项目基于 https://github.com/ggml-org/ggml 高性能张量库构建。

支持的后端

文档

工具集

• cli
• completion
• server
• GBNF 语***则

开发相关

• 构建指南
• Docker 部署说明
• Android 平台构建指南
• 多 GPU 使用说明
• 生成性能排查指南
• https://github.com/ggml-org/llama.cpp/wiki/GGML-Tips-&-Tricks
• XCFramework 构建说明
• 补全接口说明
• 模型使用说明
• 发布流程说明

贡献指南

• 普通贡献者可直接提交 Pull Request
• 核心贡献者将根据贡献度被邀请成为项目协作者
• 维护者拥有 llama.cpp 仓库分支推送权限，可合并 PR 到 master 分支
• 所有协助管理 Issue、PR 及项目进度的行为都非常受欢迎！
• 更多细节请查阅 CONTRIBUTING.md 文档

致谢

• https://github.com/yhirose/cpp-httplib：`llama-server` 使用的单头文件 HTTP 服务库，采用 MIT 许可证
• https://github.com/nothings/stb：多模态子系统使用的单头文件图像格式解码器，为公有领域作品
• https://github.com/nlohmann/json：各类工具与示例通用的单头文件 JSON 处理库，采用 MIT 许可证
• https://github.com/mackron/miniaudio：多模态子系统使用的单头文件音频格式解码器，为公有领域作品
• https://github.com/sheredom/subprocess.h：C/C++ 环境下使用的单头文件进程启动工具，为公有领域作品