joshxt/local-llm

Local-LLM

镜像概述和主要用途

Local-LLM是一个基于https://github.com/ggerganov/llama.cpp%E7%9A%84%E8%BD%BB%E9%87%8F%E6%9C%8D%E5%8A%A1%E5%99%A8%EF%BC%8C%E7%94%A8%E4%BA%8E%E5%9C%A8%E6%9C%AC%E5%9C%B0%E8%AE%A1%E7%AE%97%E6%9C%BA%E4%B8%8A%E8%BF%90%E8%A1%8C%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E3%80%82%E5%AE%83%E6%97%A8%E5%9C%A8%E7%AE%80%E5%8C%96%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%83%A8%E7%BD%B2%E6%B5%81%E7%A8%8B%EF%BC%8C%E8%87%AA%E5%8A%A8%E5%A4%84%E7%90%86%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD%E5%92%8C%E5%9F%BA%E4%BA%8E%E7%A1%AC%E4%BB%B6%EF%BC%88CPU%E3%80%81RAM%E3%80%81GPU%EF%BC%89%E7%9A%84%E6%9C%8D%E5%8A%A1%E5%99%A8%E9%85%8D%E7%BD%AE%E3%80%82%E6%AD%A4%E5%A4%96%EF%BC%8C%E5%AE%83%E6%8F%90%E4%BE%9BOpenAI%E9%A3%8E%E6%A0%BC%E6%8E%A5%E5%8F%A3%EF%BC%8C%E4%BE%BF%E4%BA%8E%E4%B8%8E%E5%85%B6%E4%BB%96%E5%BA%94%E7%94%A8%E9%9B%86%E6%88%90%EF%BC%8C%E5%B9%B6%E5%86%85%E7%BD%AE%E8%AF%AD%E9%9F%B3%E5%85%8B%E9%9A%86%E6%96%87%E6%9C%AC%E8%BD%AC%E8%AF%AD%E9%9F%B3%E5%8F%8A%E8%AF%AD%E9%9F%B3%E8%BD%AC%E6%96%87%E6%9C%AC%E5%8A%9F%E8%83%BD%EF%BC%8C%E6%94%AF%E6%8C%81%E5%AE%8C%E5%85%A8%E7%A6%BB%E7%BA%BF%E7%9A%84%E8%AF%AD%E9%9F%B3%E4%BA%A4%E4%BA%92%E3%80%82

核心功能和特性

• 自动模型管理：自动下载用户选择的模型，无需手动配置
• 硬件自适应配置：根据CPU、RAM和GPU自动优化服务器参数
• OpenAI兼容接口：提供与OpenAI API一致的端点，便于现有应用迁移
• 语音交互支持：集成语音克隆文本转语音（TTS）和语音转文本（STT）功能
• 完全离线运行：初始设置后可脱离网络运行，保护数据隐私
• 灵活配置选项：通过环境变量自定义模型、资源分配等参数

使用场景和适用范围

• 本地AI助手：在个人设备上运行语言模型，实现隐私保护的智能交互
• 开发测试：为依赖LLM的应用提供本地测试环境，无需调用云端API
• 离线内容生成：在无网络环境下进行文本生成、摘要、翻译等任务
• 语音交互应用：构建离线语音助手、语音控制应用等
• 低延迟部署：本地运行减少网络延迟，提升响应速度

前提条件

• Git
• PowerShell 7.X
• Docker Desktop（Windows或Mac）
• CUDA Toolkit（仅NVIDIA GPU需要）

安装步骤

bash
git clone https://github.com/Josh-XT/Local-LLM
cd Local-LLM

环境配置（可选）

所有环境变量均为可选，默认值已针对大多数场景优化。如需修改默认配置，可编辑.env文件。对于NVIDIA GPU用户，建议配置GPU_LAYERS和MAIN_GPU；若要将服务器暴露到互联网，建议设置LOCAL_LLM_API_KEY以增强安全性。

使用方法

启动服务器：

bash
./start.ps1

接口使用示例

服务器启动后，可通过Examples Jupyter Notebook查看模型交互示例。

OpenAI风格接口

OpenAI风格端点默认地址：http://<本地IP地址>:8091/v1/

服务器运行时，可访问http://localhost:8091查看接口文档。