trivadis/verba

Verba

黄金RAG检索器

![Weaviate]([] ![PyPi downloads]([] ![Docker support]([] ![Demo]([]

欢迎使用Verba：黄金RAG检索器，这是一个开源应用程序，旨在提供开箱即用、端到端、流线型且用户友好的检索增强生成（RAG）界面。通过几个简单步骤，您可以轻松探索数据集并提取洞察，无论是通过本地的HuggingFace和Ollama，还是通过OpenAI、Cohere和Google等LLM提供商。

pip install goldenverba

!https://github.com/weaviate/Verba/blob/1.0.0/img/verba.gif

• Verba
  • 🎯 Verba是什么？
  • ✨ 功能特性
• ✨ Verba快速入门
• 🔑 API密钥
  • Weaviate
  • Ollama
  • Google
  • Unstructured
  • OpenAI
  • HuggingFace
• 快速启动：通过pip部署
• 快速启动：从源码构建
• 快速启动：通过Docker部署
• 💾 Verba使用流程
• 💖 开源贡献
• 🚩 已知问题
• ❔常见问题

Verba是什么？

Verba是一个完全可定制的个人助手，用于查询和交互您的数据，可在本地运行或通过云部署。解决文档相关问题、交叉引用多个数据点或从现有知识库中获取洞察。Verba结合了最先进的RAG技术与Weaviate的上下文感知数据库。您可以根据个人用例选择不同的RAG框架、数据类型、分块与检索技术以及LLM提供商。

功能特性

缺少某些功能？欢迎创建新issue或讨论您的想法！

!https://github.com/weaviate/Verba/blob/1.0.0/img/verba_screen.png

---

Verba快速入门

Verba有三种部署选项：

• 通过pip安装

pip install goldenverba

• 从源码构建

git clone https://github.com/weaviate/Verba

pip install -e .

• 使用Docker部署

前置条件：如果不使用Docker，确保系统已安装Python >=3.10.0。

如果不熟悉Python和虚拟环境，请阅读Python教程指南。

API密钥

启动Verba前，您需要根据所选技术配置对各种组件的访问权限，如OpenAI、Cohere和HuggingFace，通过.env文件实现。在要启动Verba的目录中创建此.env文件。您可以在goldenverba目录中找到.env.example文件。

确保只设置您打算使用的环境变量，缺失或不正确的环境变量可能导致错误。

以下是您可能需要的API密钥和变量的综合列表：

Weaviate

Verba提供连接Weaviate实例的灵活性。默认情况下，如果未检测到WEAVIATE_URL_VERBA和WEAVIATE_API_KEY_VERBA环境变量，Verba会选择Weaviate Embedded。这种本地部署是启动Weaviate数据库进行原型设计和测试的最简单方式。

不过，您也有其他选项：

🌩️ Weaviate云服务（WCS）

如果您偏好基于云的解决方案，Weaviate云服务（WCS）提供可扩展的托管环境。通过Weaviate集群设置指南了解如何设置云集群并获取API密钥。

🐳 Docker部署 另一个强大的本地替代方案是使用Docker部署Weaviate。有关详细信息，请参阅Weaviate Docker指南。

Ollama

Verba支持Ollama模型。在您的设备上下载并安装Ollama（[***]

已测试llama3、llama3:70b和mistral。更大的模型通常性能更好，但需要更多计算能力。

确保Ollama服务器在后台运行，并且不要使用不同的ollama模型导入文档，因为它们的向量维度可能不同，这会导致错误

Google

如果要使用Google功能，请确保安装Google Verba包。

bash
pip install goldenverba[google]

或

pip install `.[google]`

如果使用Docker，请相应修改Dockerfile

Google嵌入

对于Google嵌入，Verba使用Google Cloud中的Vertex AI Studio。您可以在此处找到获取密钥的说明。如果安装了gcloud CLI，可以运行以下命令：gcloud auth print-access-token。目前，此访问令牌必须每小时更新一次。

您还需要将GOOGLE_CLOUD_PROJECT环境变量设置为项目名称。

Google Gemini

要使用Google Gemini，您需要服务账户密钥（JSON文件）。要获取此密钥，请在Google Cloud控制台中进入"项目设置"，然后进入"服务账户"。创建新服务账户，然后创建新密钥。下载此密钥并放在Verba的根目录中。将其命名为gemini_secrets.json，以自动排除在git之外。将环境变量GOOGLE_APPLICATION_CREDENTIALS设置为此文件的位置，例如gemini_secrets.json。

您还需要将GOOGLE_CLOUD_PROJECT环境变量设置为项目名称。

Unstructured

Verba支持通过Unstructured IO导入文档（如纯文本、.pdf、.csv等）。要使用它们，您需要UNSTRUCTURED_API_KEY和UNSTRUCTURED_API_URL环境变量。您可以从Unstructured获取。

UNSTRUCTURED_API_URL默认设置为https://api.unstructured.io/general/v0/general

OpenAI

Verba支持OpenAI模型，如Ada、GPT3和GPT4。要使用它们，您需要指定OPENAI_API_KEY环境变量。您可以从OpenAI获取。

您还可以添加OPENAI_BASE_URL以使用代理，如LiteLLM（https://github.com/BerriAI/litellm%EF%BC%89

OPENAI_BASE_URL=您的-OPENAI_BASE_URL

Azure OpenAI

要使用Azure OpenAI，您需要设置：

• API类型：

OPENAI_API_TYPE="azure"

• 密钥和端点：

OPENAI_API_KEY=<您的密钥>
OPENAI_BASE_URL=http://XXX.openai.azure.com

• Azure OpenAI资源名称，如果您的端点是XXX.openai.azure.com，则为XXX

AZURE_OPENAI_RESOURCE_NAME=<您的Azure资源名称>

• 您需要设置嵌入和查询的模型：

AZURE_OPENAI_EMBEDDING_MODEL="text-embedding-ada-002"
OPENAI_MODEL="gpt-4"

• 最后，由于Azure使用每分钟配额，您可能需要在每个分块上传之间添加等待时间。例如，如果您的限制是每分钟240k令牌，而您的分块最大为400令牌，则查询之间100ms应该足够。如果从weaviate收到429错误，请增加此值。

WAIT_TIME_BETWEEN_INGESTION_QUERIES_MS="100"

HuggingFace

如果要使用HuggingFace功能，请确保安装正确的Verba包。

bash
pip install goldenverba[huggingface]

或

pip install `.[huggingface]`

如果使用Docker，请相应修改Dockerfile

通过pip部署

Python >=3.10.0

1. 初始化新的Python环境

python3 -m virtualenv venv

2. 安装Verba

pip install goldenverba

3. 启动Verba

verba start

您可以通过标志指定--port和--host

4. 访问Verba

访问localhost:8000

5. 创建.env文件并添加环境变量

从源码构建

1. 克隆Verba仓库

git clone https://github.com/weaviate/Verba.git

2. 初始化新的Python环境

python3 -m virtualenv venv

3. 安装Verba

pip install -e .

4. 启动Verba

verba start

您可以通过标志指定--port和--host

5. 访问Verba

访问localhost:8000

6. 创建.env文件并添加环境变量

通过Docker部署

Docker是一组平台即服务产品，使用操作系统级虚拟化以容器形式交付软件。要开始使用Docker部署Verba，请按照以下步骤操作。如果需要有关Docker使用的更多详细说明，请查看Docker教程。

0. 克隆Verba仓库 确保系统已安装Git。然后，打开终端或命令提示符，运行以下命令克隆Verba仓库：

git clone https://github.com/weaviate/Verba.git

1. 设置必要的环境变量 确保在.env文件中设置所需的环境变量。您可以在API密钥部分中了解如何设置它们。

2. 调整docker-compose文件 您可以使用docker-compose.yml在verba服务下添加所需的环境变量，也可以调整Weaviate Docker设置以启用身份验证或更改数据库实例的其他设置。您可以在docker-compose文档中了解有关Weaviate配置的更多信息。

请确保只添加您真正需要的环境变量。如果Weaviate集群未启用身份验证，请确保不包含WEAVIATE_API_KEY_VERBA环境变量

2. 使用Docker部署 安装Docker并克隆Verba仓库后，在终端或命令提示符中导航到包含Docker Compose文件的目录。运行以下命令以分离模式启动Verba应用程序，使其在后台运行：

bash
docker compose up -d

bash
docker compose --env-file .env up -d

此命令将下载必要的Docker镜像，创建容器并启动Verba。 请记住，必须在系统上安装Docker才能使用此方法。有关安装说明和Docker的更多详细信息，请访问官方Docker文档。

4. 访问Verba

• 您可以在localhost:8080访问本地Weaviate实例

• 您可以在localhost:8000访问Verba前端

如果希望Docker实例安装特定版本的Verba，可以编辑Dockerfile并更改安装行：

RUN pip install -e '.'

Verba使用流程

概览页面

访问Verba后，您可以使用"概览页面"验证所有环境和库是否已正确设置和安装。您可以使用管理控制台查看Weaviate集合中存储的所有数据，并重置Verba的某些部分（如文档、缓存、配置等）。

![Verba演示](https://github.com/weaviate/Verba/blob/