neuml/txtai-cpu

txtai：一站式AI框架

一站式AI框架

https://github.com/neuml/txtai/releases

https://github.com/neuml/txtai/releases

https://github.com/neuml/txtai/releases

https://github.com/neuml/txtai/releaseshttps://raw.githubusercontent.com/neuml/txtai/master/docs/images/architecture.png#gh-light-mode-only

txtai的核心组件是嵌入数据库，它是向量索引（稀疏和密集）、图网络和关系数据库的结合体。

这一基础支持向量搜索，或作为大型语言模型（LLM）应用的强大知识源。

构建自主智能体、检索增强生成（RAG）流程、多模型工作流等。

txtai功能摘要：

• 🔎 支持SQL、对象存储、主题建模、图分析和多模态索引的向量搜索
• 📄 为文本、文档、音频、图像和视频创建嵌入
• 💡 由语言模型驱动的管道，可运行LLM提示、问答、标记、转录、翻译、摘要等
• ↪️️ 将管道连接在一起并聚合业务逻辑的工作流。txtai流程可以是简单的微服务或多模型工作流
• 🤖 智能体，能智能地将嵌入、管道、工作流和其他智能体连接起来，自主解决复杂问题
• ⚙️ Web和模型上下文协议（MCP）API。提供https://github.com/neuml/txtai.js%E3%80%81https://github.com/neuml/txtai.java%E3%80%81https://github.com/neuml/txtai.rs%E5%92%8Chttps://github.com/neuml/txtai.go%E7%BB%91%E5%AE%9A
• 🔋 内置默认配置，可快速启动和运行
• ☁️ 本地运行或通过容器编排横向扩展

txtai基于Python 3.10+、https://github.com/huggingface/transformers%E3%80%81https://github.com/UKPLab/sentence-transformers%E5%92%8Chttps://github.com/tiangolo/fastapi%E6%9E%84%E5%BB%BA%E3%80%82txtai%E9%87%87%E7%94%A8Apache 2.0许可证开源。

有兴趣以简单安全的方式运行托管txtai应用吗？加入txtai.cloud预览版了解更多。

为什么选择txtai？

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/why.png#gh-light-mode-only

新的向量数据库、LLM框架及其他相关工具每天都在涌现。为什么选择基于txtai构建？

• 通过https://neuml.github.io/txtai/install/%E6%88%96https://neuml.github.io/txtai/cloud/%E5%9C%A8%E5%87%A0%E5%88%86%E9%92%9F%E5%86%85%E5%90%AF%E5%8A%A8%E5%B9%B6%E8%BF%90%E8%A1%8C

python
# 几行代码即可开始使用
import txtai

embeddings = txtai.Embeddings()
embeddings.index(["正确", "不是我们所希望的"])
embeddings.search("积极", 1)
#[(0, 0.29862046241760254)]

• 内置API使使用您选择的编程语言开发应用变得简单

yaml
# app.yml
embeddings:
    path: sentence-transformers/all-MiniLM-L6-v2

bash
CONFIG=app.yml uvicorn "txtai.api:app"
curl -X GET "http://localhost:8000/search?query=积极"

• 本地运行 - 无需将数据发送到不同的远程服务
• 支持从微型模型到大型语言模型（LLM）
• 低资源占用 - 按需安装额外依赖并横向扩展
• https://neuml.github.io/txtai/examples - 笔记本涵盖所有可用功能

使用场景

以下部分介绍txtai的常见使用场景。还提供了超过60个https://neuml.github.io/txtai/examples%E3%80%82

语义搜索

构建语义/相似性/向量/神经搜索应用。

!https://raw.githubusercontent.com/neuml/txtai/master/demo.gif

传统搜索系统使用关键字查找数据。语义搜索理解自然语言，并识别具有相同含义的结果，而不一定是相同的关键字。

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/search.png#gh-light-mode-only

通过以下示例开始使用。

LLM编排

自主智能体、检索增强生成（RAG）、与数据对话、与大型语言模型（LLM）交互的管道和工作流。

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/llm.png

以下是更多相关内容。

智能体

智能体将嵌入、管道、工作流和其他智能体连接在一起，自主解决复杂问题。

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/agent.png

txtai智能体基于https://github.com/huggingface/smolagents%E6%A1%86%E6%9E%B6%E6%9E%84%E5%BB%BA%E3%80%82%E6%94%AF%E6%8C%81txtai%E6%94%AF%E6%8C%81%E7%9A%84%E6%89%80%E6%9C%89LLM%EF%BC%88Hugging Face、llama.cpp、通过LiteLLM支持的OpenAI/Claude/AWS Bedrock）。

通过以下链接了解更多。

检索增强生成

检索增强生成（RAG）通过使用知识库作为上下文约束输出来降低LLM幻觉风险。RAG通常用于“与您的数据对话”。

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/rag.png#gh-light-mode-only

txtai的一个新颖特性是它可以同时提供答案和来源引用。

语言模型工作流

语言模型工作流（也称为语义工作流）将语言模型连接在一起以构建智能应用。

!https://raw.githubusercontent.com/neuml/txtai/master/docs/images/flows.png#gh-light-mode-only

虽然LLM功能强大，但有许多更小、更专业的模型在特定任务上表现更好、速度更快。这包括抽取式问答、自动摘要、文本转语音、转录和翻译模型。

安装

![安装](https://raw.githubusercontent.com/neuml/txtai/master