ghcr.io/ggml-org/llama.cpp:server-vulkan-b8851

llama.cpp

宣言 / ggml / 运维

C/C++ 实现的 LLM 推理

近期 API 变更

• libllama API 变更日志 libllama

• llama-server REST API 变更日志 llama-server

热门话题

• Hugging Face 缓存迁移：使用 -hf 下载的模型现在存储在标准 Hugging Face 缓存目录中，可与其他 HF 工具共享。 -hf

• 指南：使用 llama.cpp 的新 WebUI

• 指南：使用 llama.cpp 运行 gpt-oss

• [反馈] 改进 llama.cpp 打包以支持下游用户 🤗

• 已添加对原生 MXFP4 格式的 gpt-oss 模型支持 | PR | 与 NVIDIA 合作 | 评论 gpt-oss

• llama-server 现已支持多模态：#*** | 文档 llama-server

• 用于 FIM 补全的 VS Code 扩展：https://github.com/ggml-org/llama.vscode

• 用于 FIM 补全的 Vim/Neovim 插件：https://github.com/ggml-org/llama.vim

• Hugging Face 推理端点现已原生支持 GGUF！#9669

• Hugging Face GGUF 编辑器：讨论 | 工具

快速开始

开始使用 llama.cpp 非常简单。以下是在您的机器上安装它的几种方法：

• 使用 brew、nix 或 winget 安装 llama.cpp llama.cpp

• 使用 Docker 运行 - 参见我们的 Docker 文档

• 从发布页面下载预构建二进制文件

• 通过克隆此仓库从源代码构建 - 查看我们的构建指南

安装完成后，您需要一个模型才能使用。前往获取和量化模型部分了解更多信息。

示例命令：

说明

llama.cpp 的主要目标是在各种硬件上（本地和云端）以最少的设置实现最先进的 LLM 推理性能。

llama.cpp

• 纯 C/C++ 实现，无任何依赖
• Apple silicon 是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化
• 对 x86 架构的 AVX、AVX2、AVX512 和 AMX 支持
• 对 RISC-V 架构的 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE 支持
• 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，以实现更快的推理和减少内存使用
• 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU，通过 MUSA 支持摩尔线程 GPU）
• Vulkan 和 SYCL 后端支持
• CPU+GPU 混合推理，可部分加速大于总 VRAM 容量的模型

llama.cpp 项目是开发 ggml 库新功能的主要试验场。

llama.cpp

通常也支持以下基础模型的微调版本。

添加新模型支持的说明：HOWTO-add-model.md

纯文本模型

• LLaMA 🦙
• LLaMA 2 🦙🦙
• LLaMA 3 🦙🦙🦙
• Mistral 7B
• Mixtral MoE
• DBRX
• Jamba
• Falcon
• Chinese LLaMA / Alpaca 以及 Chinese LLaMA-2 / Alpaca-2
• Vigogne（法语）
• BERT
• Koala
• Baichuan 1 & 2 + 衍生模型
• Aquila 1 & 2
• Starcoder models
• Refact
• MPT
• Bloom
• Yi models
• StableLM models
• Deepseek models
• Qwen models
• PLaMo-13B
• Phi models
• PhiMoE
• GPT-2
• Orion 14B
• InternLM2
• CodeShell
• Gemma
• Mamba
• Grok-1
• Xverse
• Command-R models
• SEA-LION
• GritLM-7B + GritLM-8x7B
• OLMo
• OLMo 2
• OLMoE
• Granite models
• GPT-NeoX + Pythia
• ***-Arctic MoE
• Smaug
• Poro 34B
• Bitnet b1.58 models
• Flan T5
• Open Elm models
• ChatGLM3-6b + ChatGLM4-9b + GLMEdge-1.5b + GLMEdge-4b
• GLM-4-0414
• SmolLM
• EXAONE-3.0-7.8B-Instruct
• FalconMamba Models
• Jais