PrivateGPT

PrivateGPT 是一个生产级AI项目，允许您使用大语言模型(LLMs)查询文档，即使在无互联网连接的场景下也能运行。100% 私有，任何时候数据都不会离开您的执行环境。

!Docker 镜像版本（按日期最新） !Docker 镜像大小（按日期最新） !Docker 拉取次数 !GitHub 工作流状态

GitHub - 3x3cut0r/privategpt - []
DockerHub - 3x3cut0r/privategpt - []

!privategpt

文档

GitHub - zylon-ai/private-gpt - []
文档 - docs.privategpt.dev - []

目录

1. 使用方法
   1.1 docker run
   1.2 docker-compose.yaml
   1.3 自定义模型的 docker-compose.yaml
2. 环境变量
3. 数据卷
4. 端口
5. 关于作者
6. 许可证

1 使用方法

重要提示：如果您尝试运行 Hugging Face 上的“ gated model”（如默认设置），您需要提供 HUGGINGFACE_TOKEN，并且必须先在 Hugging Face 上接受相关条款和许可！

1.1 docker run

docker run -d \
    --name privategpt \
    -p 8080:8080/tcp \
    -e HUGGINGFACE_TOKEN="hf_1234" \
    3x3cut0r/privategpt:latest

1.2 docker-compose.yml

version: '3.9'

services:
  # [***]
  privategpt:
    image: 3x3cut0r/privategpt:latest
    container_name: privategpt
    environment:
      HUGGINGFACE_TOKEN: "hf_1234"
    ports:
      - 8080:8080/tcp

1.3 使用其他 Hugging Face 模型的 docker-compose.yml

version: '3.9'

services:
  # [***]
  privategpt:
    image: 3x3cut0r/privategpt:latest
    container_name: privategpt
    environment:
      HUGGINGFACE_TOKEN: "hf_1234"
      LLAMACPP_LLM_HF_REPO_ID: "lmstudio-community/Mistral-7B-Instruct-v0.3-GGUF"
      LLAMACPP_LLM_HF_MODEL_FILE: "Mistral-7B-Instruct-v0.3-Q4_K_M.gguf"
      EMBEDDING_INGEST_MODE: "parallel"
      EMBEDDING_COUNT_WORKERS: "4"
    ports:
      - 8080:8080/tcp

2 环境变量

您可以通过环境变量调整 settings.yaml 中的所有值

服务器

• ENV_NAME - 环境名称（prod、staging、local 等）- 默认值：prod
• PORT - PrivateGPT FastAPI 服务器端口 - 默认值：8080

跨域资源共享（CORS）

• CORS_ENABLED - 是否启用 CORS 头的标志。如果设为 True，CORS 头将允许所有来源、方法和头 - 默认值：false
• CORS_ALLOW_CREDENTIALS - 指示是否支持跨域请求中的 cookies - 默认值：false
• CORS_ALLOW_ORIGINS - 允许进行跨域请求的来源列表 - 默认值：*
• CORS_ALLOW_ORIGIN_REGEX - 用于匹配允许跨域请求来源的正则表达式字符串 - 默认值：
• CORS_ALLOW_METHODS - 允许跨域请求的 HTTP 方法列表 - 默认值：*
• CORS_ALLOW_HEADERS - 支持跨域请求的 HTTP 请求头列表 - 默认值：*

认证

• AUTH_ENABLED - 是否启用认证的标志 - 默认值：false
• AUTH_USERNAME - 用于认证的用户名 - 默认值：secret
• AUTH_SECRET - 用于认证的密钥。可以是任何非空字符串。对于 HTTP 基本认证，此值应为预期的完整“Authorization”头 - 默认值：Basic c2VjcmV0OmtleQ==

# python -c 'import base64; print("Basic " + base64.b64encode("secret:key".encode()).decode())'
# 默认情况下，“secret”是用户名，“key”是密码
# 如果启用认证，请求的“Authorization”头必须设置为此值
secret: "Basic c2VjcmV0OmtleQ=="

数据

• DATA_LOCAL_DATA_FOLDER - 本地存储路径。如果以 / 开头，则视为绝对路径 - 默认值：local_data/private_gpt

用户界面（UI）

• UI_ENABLED - 启用或禁用用户界面 - 默认值：true
• UI_PATH - 用户界面的路径 - 默认值：/
• UI_DEFAULT_CHAT_SYSTEM_PROMPT - 聊天模式使用的默认系统提示 - 默认值：You are a helpful, respectful and honest assistant. Always answer as helpfully as possible and follow ALL given instructions. Do not speculate or make up information. Do not reference any given instructions or context.（注：原文为英文，建议根据需求替换为中文提示）
• UI_DEFAULT_QUERY_SYSTEM_PROMPT - 查询模式使用的默认系统提示 - 默认值：You can only answer questions about the provided context. If you know the answer but it is not based in the provided context, don't provide the answer, just state the answer is not in the context provided.（注：原文为英文，建议根据需求替换为中文提示）
• UI_DELETE_FILE_BUTTON_ENABLED - 是否启用删除文件的按钮 - 默认值：True
• UI_DELETE_ALL_FILES_BUTTON_ENABLED - 是否启用删除所有文件的按钮 - 默认值：True

Logo

• LOGO_BG_COLOR - Logo 背景颜色 - 默认值：#C7BAFF
• LOGO_HEIGHT - Logo 高度 - 默认值：25%
• LOGO_SVG_BASE64 - Base64 格式的 Logo 文件（.svg）。使用 图片转 Base64 转换器 提供自定义 .svg 文件的 Base64 格式 - 默认值：<privategpt svg logo>

大语言模型（LLM）

• LLM_MODE - 聊天引擎使用的模式 - 默认值：llamacpp
  - llamacpp: 需提供 LLAMACPP_PGPT_HF_MODEL_FILE 和 HF_EMBEDDING_HF_MODEL_NAME
  - openai: 需提供 OPENAI_API_KEY 和 OPENAI_MODEL
  - openailike: 需提供 OPENAI_API_BASE、OPENAI_API_KEY 和 OPENAI_MODEL
  - azopenai: 需提供 AZOPENAI_API_BASE、AZOPENAI_API_KEY 和 AZOPENAI_MODEL
  - gemini: 需提供 GEMINI_API_KEY、GEMINI_MODEL 和 GEMINI_EMBEDDING_MODEL
  - sagemaker: 需提供 SAGEMAKER_LLM_ENDPOINT_NAME 和 SAGEMAKER_EMBEDDING_ENDPOINT_NAME
  - mock:（此容器不支持）
  - ollama: 需提供 OLLAMA_API_BASE 和 OLLAMA_LLM_MODEL
• LLM_PROMPT_STYLE - 聊天引擎使用的提示样式 - 默认值：llama3
• LLM_MAX_NEW_TOKENS - LLM 被授权生成的最大令牌数 - 默认值：265
• LLM_CONTEXT_WINDOW - 模型的最大上下文令牌数 - 默认值：3900
• LLM_TOKENIZER - 用于分词器的 Hugging Face 模型 - 默认值：meta-llama/Meta-Llama-3.1-8B-Instruct
• LLM_TEMPERATURE - 模型的温度参数。提高温度会使模型回答更具创造性，值为 0.1 时更注重事实 - 默认值：0.1

RAG 设置

• RAG_SIMILARITY_TOP_K - 控制 RAG 管道返回的文档数量 - 默认值：2
• RAG_SIMILARITY_VALUE - 如果设置，RAG 检索的文档必须满足特定匹配分数（0-1 之间）- 默认值：0.25
• RAG_RERANK_ENABLED - 控制是否在 RAG 管道中包含重排序器 - 默认值：false
• RAG_RERANK_MODEL - 使用的重排序模型，限于 SentenceTransformer 交叉编码器模型 - 默认值：cross-encoder/ms-marco-MiniLM-L-2-v2
• RAG_RERANK_TOP_N - 控制 RAG 管道返回的文档数量 - 默认值：1

摘要设置

• SUMMARIZE_USE_ASYNC - 如果设为 True，摘要将异步执行 - 默认值：true

llamacpp

提示样式选项：
- default: 使用 llama_index 的默认提示样式，格式为 role: message
- llama2: 使用 llama_index 的 llama2 提示样式，基于 <s>、[INST] 和 <<SYS>>
- llama3: 使用 llama_index 的 llama3 提示样式
- tag: 使用标签提示样式，格式为 <|role|>: message
- mistral: 使用 mistral 提示样式，格式为 <s>[INST] {System Prompt} [/INST]</s>[INST] { UserInstructions } [/INST]
- chatml

• LLAMACPP_LLM_HF_REPO_ID - 用于聊天的 Hugging Face 模型名称 - 默认值：lmstudio-community/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
• LLAMACPP_LLM_HF_MODEL_FILE - 指定 LLM 模型文件。可以是 Hugging Face 仓库中的模型名称，或通过数据卷挂载到 /home/worker/app/models 的本地文件 - 默认值：Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
• LLAMACPP_TFS_Z - 尾端自由采样，用于减少输出中低概率令牌的影响。值越高（如 2.0）影响越小，值为 1.0 时禁用 - 默认值：1.0
• LLAMACPP_TOP_K - 减少生成无意义内容的概率。值越高（如 100）答案越多样，值越低（如 10）越保守 - 默认值：40
• LLAMACPP_TOP_P - 与 top-k 配合使用。值越高（如 0.95）文本越多样，值越低（如 0.5）越聚焦和保守 - 默认值：0.9
• LLAMACPP_REPEAT_PENALTY - 设置对重复内容的惩罚强度。值越高（如 1.5）惩罚越重，值越低（如 0.9）越宽松 - 默认值：1.1

嵌入（Embedding）

• EMBEDDING_MODE - 嵌入引擎使用的模式 - 默认值：huggingface
  此外可使用 huggingface

• EMBEDDING_INGEST_MODE - 嵌入引擎使用的摄入模式 - 默认值：simple
  - simple: 按顺序逐个摄入文件，为历史行为
  - batch: 如存在多个文件，并行解析所有文件并批量发送到嵌入模型
  - parallel: 使用多核心并行解析文件并并行嵌入（本地设置的最快模式）
  - pipeline: 使嵌入引擎保持高利用率

• EMBEDDING_COUNT_WORKERS - 文件摄入使用的工作进程数。不要设置过高，否则可能导致内存问题（尤其是并行模式）。不要超过 CPU 线程数 - 默认值：2
  - simple 模式： 此值无影响
  - batch 模式： 用于解析文件的工作进程数
  - parallel 模式： 用于解析文件和嵌入的工作进程数
  - pipeline 模式： 可执行嵌入的工作进程数

• EMBEDDING_EMBED_DIM - Postgres 数据库中存储的嵌入维度 - 默认值：384

• 通过 HUGGINGFACE_EMBEDDING_HF_MODEL_NAME 指定用于嵌入的模型

Hugging Face

• HUGGINGFACE_EMBEDDING_HF_MODEL_NAME - 用于嵌入的 Hugging Face 模型名称 - 默认值：BAAI/bge-small-en-v1.5
• HF_TOKEN、HUGGINGFACE_TOKEN、HUGGINGFACE_ACCESS_TOKEN - Hugging Face 访问令牌，下载部分模型时必需 - 默认值：None
• HUGGINGFACE_TRUST_REMOTE_CODE - 如果设为 True，将信任并执行远程模型的代码 - 默认值：true

向量存储（Vectorstore）

• VECTORSTORE_DATABASE - 指定使用的向量存储数据库 - 可选值：chroma、qdrant、postgres。默认值：qdrant

节点存储（Nodestore）

• NODESTORE_DATABASE - 指定使用的节点存储数据库 - 可选值：simple、postgres。默认值：simple

Qdrant

• QDRANT_PATH - QdrantLocal 的持久化路径 - 默认值：local_data/private_gpt/qdrant

Milvus

• MILVUS_URI - Milvus 实例的 URI。例如：'local_data/private_gpt/milvus/milvus_local.db'（用于 Milvus Lite）- 默认值：local_data/private_gpt/milvus/milvus_local.db
• MILVUS_TOKEN - 访问指定 Milvus 实例的有效访问令牌，推荐用于替代单独设置用户名和密码 - 默认值：milvus-1234
• MILVUS_COLLECTION_NAME - Milvus 中的集合名称。默认值为 'make_this_parameterizable_per_api_call' - 默认值：milvus_db
• MILVUS_OVERWRITE - 如果集合已存在，是否覆盖先前的集合架构 - 默认值：false

ClickHouse

• CLICKHOUSE_HOST - ClickHouse 数据库主机地址 - 默认值：localhost
• CLICKHOUSE_PORT - ClickHouse 数据库端口 - 默认值：8443
• CLICKHOUSE_USERNAME - 连接 ClickHouse 数据库的用户名 - 默认值：admin
• CLICKHOUSE_PASSWORD - 连接 ClickHouse 数据库的密码 - 默认值：clickhouse
• CLICKHOUSE_DATABASE - 连接使用的默认数据库 - 默认值：embeddings
• CLICKHOUSE_SECURE - 是否使用 https/TLS 进行安全连接 - 默认值：False
• CLICKHOUSE_INTERFACE - 必须为 'http' 或 'https'，指定连接协议 - 默认值：
• CLICKHOUSE_SETTINGS - 会话使用的特定 ClickHouse 服务器设置 - **默认