llama.cpp是一款轻量高效的LLM推理工具,旨在通过极简配置在各类硬件上实现高性能本地及云端LLM推理。
无依赖C/C++原生实现;多硬件架构深度优化,包括Apple silicon(ARM NEON/Accelerate/Metal)、x86(AVX/AVX2/AVX512/AMX)及RISC-V(RVV等);支持1.5-bit至8-bit整数量化以降低内存占用并加速推理;提供CUDA(NVIDIA GPU)、HIP(AMD GPU)、MUSA(摩尔线程GPU)及Vulkan/SYCL后端支持;支持CPU+GPU混合推理以处理超显存容量模型。
基于C/C++构建,核心依赖ggml库,集成多架构硬件加速指令集,通过自定义内核及多后端(CUDA/HIP/MUSA/Vulkan/SYCL)实现跨平台高性能计算。
适用于本地LLM应用开发、边缘设备部署、云端低延迟推理服务及多硬件环境下的模型测试验证,支持LLaMA系列、Mistral、Mixtral等主流LLM模型。
请登录使用轩辕镜像享受快速拉取体验,支持国内访问优化,速度提升
docker pull ghcr.io/ggml-org/llama.cpp:light-vulkan-b8660探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
无需登录使用专属域名
Kubernetes 集群配置 Containerd
K3s 轻量级 Kubernetes 镜像加速
VS Code Dev Containers 配置
Podman 容器引擎配置
HPC 科学计算容器配置
ghcr、Quay、nvcr 等镜像仓库
Harbor Proxy Repository 对接专属域名
Portainer Registries 加速拉取
Nexus3 Docker Proxy 内网缓存
需要其他帮助?请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
manifest unknown
no matching manifest(架构)
invalid tar header(解压)
TLS 证书失败
DNS 超时
410 Gone 排查
402 与流量用尽
401 认证失败
429 限流
D-Bus 凭证提示
413 与超大单层
来自真实用户的反馈,见证轩辕镜像的优质服务