ezforever/llama.cpp-static

镜像概述和主要用途

这是llama.cpp的每日最小化静态构建镜像，提供轻量级的llama.cpp服务器功能。镜像同时在ghcr.io可用（[***]

源码地址：https://github.com/ggml-org/llama.cpp
构建来源：https://github.com/EZForever/llama.cpp-static

核心功能和特性

• 静态构建：确保轻量且依赖少，便于快速部署
• SSL支持：提供两种SSL配置（nossl/ssl），ssl版本支持SSL/TLS和模型下载功能
• AVX指令集适配：支持多种AVX指令集（noavx/avx/avx2/avx512），可根据CPU硬件选择以优化性能
• RPC服务器版本：提供RPC服务器镜像，满足远程过程调用需求

使用场景和适用范围

适用于需要快速部署llama.cpp服务器的场景，包括本地开发、测试及生产环境。根据以下需求选择合适的镜像标签：

• CPU硬件：现代CPU推荐avx2版本，老旧CPU可选择avx或noavx版本，高端/服务器级CPU可尝试avx512版本
• 功能需求：需要SSL/TLS加密或模型下载功能时选择ssl版本，否则可选择nossl的最小化版本

使用方法和配置说明

使用前请参考llama.cpp官方Docker指南：https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 及服务器使用说明：https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md%E3%80%82

标签格式说明

服务器镜像标签格式

服务器镜像标签格式为：server-<ssl>-<avx>

<ssl> 可选值：

• nossl：最小化构建，无SSL/TLS功能
• ssl：使用OpenSSL构建（LLAMA_OPENSSL=ON），支持SSL/TLS和模型下载功能

<avx> 可选值：

• noavx：禁用所有AVX相关优化，仅在解决已知bug或运行于老旧硬件（如10年前的设备）时使用
• avx：仅启用AVX指令集，适用于不支持AVX2的老旧CPU
• avx2：启用AVX2指令集，支持大多数现代CPU，性能合理，推荐默认使用
• avx512：启用AVX512基础指令集，仅部分高端或服务器级CPU支持，使用前请确认硬件规格

RPC服务器镜像标签格式

RPC服务器镜像标签格式为：rpc-server-<ssl>-<avx>，详细信息请参考：https://github.com/ggml-org/llama.cpp/blob/master/tools/rpc/README.md

推荐标签

如果不确定如何选择，推荐使用 server-ssl-avx2。