zylonai/private-gpt

PrivateGPT 镜像文档

镜像概述

PrivateGPT 是一个生产就绪的 AI 项目，允许您使用大语言模型（LLMs）能力对文档进行提问，即使在无互联网连接的场景下也能运行。该项目实现 100% 数据私有，任何数据都不会离开您的执行环境。它提供了一套完整的 API，遵循并扩展了 OpenAI API 标准，支持普通响应和流式响应，同时附带 Gradio UI 客户端及实用工具，便于快速测试和使用。

核心功能与特性

1. 高级 API（RAG 管道抽象）

• 文档摄入：内部管理文档解析、拆分、元数据提取、嵌入生成和存储
• 基于文档上下文的聊天与补全：抽象上下文检索、提示工程和响应生成过程

2. 低级 API（高级用户自定义管道）

• 嵌入生成：基于文本生成嵌入向量
• 上下文块检索：根据查询返回摄入文档中最相关的文本块

3. 实用工具与界面

• Gradio UI 客户端：用于测试 API 的可视化界面
• 辅助工具：包含批量模型下载脚本、文档摄入脚本、文档文件夹监控等功能

使用场景与适用范围

• 企业内部文档分析：在保护敏感数据的前提下，利用 AI 分析内部文档
• 离线环境 AI 应用：在无互联网连接的场景（如内网、隔离环境）中部署文档问答系统
• 自定义 RAG 应用开发：通过低级 API 构建定制化的检索增强生成（RAG）管道
• 数据隐私敏感场景：、、***等对数据隐私有严格要求的领域

使用方法与配置说明

基本部署

Docker Run 示例

bash
docker run -d \
  --name privategpt \
  -p 8000:8000 \
  -v ./documents:/app/documents \
  -v ./models:/app/models \
  privategpt:latest

参数说明

• -p 8000:8000：映射 API 和 Gradio UI 端口
• -v ./documents:/app/documents：挂载本地文档目录，用于文档摄入
• -v ./models:/app/models：挂载模型存储目录，用于缓存下载的 LLM 模型

API 使用

PrivateGPT API 遵循 OpenAI API 标准，主要端点包括：

文档摄入

http
POST /api/v1/ingest
Content-Type: multipart/form-data

聊天补全

http
POST /api/v1/chat/completions
Content-Type: application/json

{
  "messages": [{"role": "user", "content": "请总结文档中的核心观点"}],
  "stream": true
}

高级配置

通过环境变量自定义配置：

• MODEL_NAME：指定使用的 LLM 模型（默认：mistral-7b-instruct-v0.1）
• EMBEDDINGS_MODEL_NAME：指定嵌入模型（默认：all-MiniLM-L6-v2）
• PERSIST_DIRECTORY：向量数据库存储路径（默认：./db）
• MAX_NEW_TOKENS：生成响应的最大 token 数（默认：2000）

注意事项

• 首次运行时会自动下载所需模型，需确保有足够的存储空间（约 10-20GB）
• 建议在具有足够计算资源（尤其是 GPU）的环境中运行，以获得最佳性能
• 所有数据处理均在本地完成，确保网络隔离环境下的数据安全性