intel/document-ingestion

数据摄入微服务

概述

数据摄入服务负责加载、解析PDF、DOCX、TXT等流行文档类型并创建嵌入。该服务作为微服务实现，通过与其他微服务（向量数据库、数据存储和嵌入服务）交互实现功能。摄入的文档会转换为嵌入并存储在向量数据库中，源文档则存储在数据存储中。其中，PGVector用作向量数据库，minIO用作数据存储。

核心价值与优势

1. 提供与第三方向量数据库和数据存储的必要抽象，简化其他服务提供商的集成过程。
2. 支持处理多种流行文档类型，同时预留扩展空间以添加更多文档类型。
3. 所选组件经过基准测试和验证，确保最佳性能表现。

使用场景

示例用例

• 用例1：参考https://github.com/intel-innersource/applications.ai.intel-gpt.generative-ai-examples/tree/main/reference_apps/intel-egai-chatqna%E7%A4%BA%E4%BE%8B%E5%BA%94%E7%94%A8%EF%BC%8C%E8%AF%A5%E5%BE%AE%E6%9C%8D%E5%8A%A1%E5%9C%A8%E5%85%B6%E4%B8%AD%E5%BE%97%E5%88%B0%E5%AE%9E%E9%99%85%E5%BA%94%E7%94%A8%E3%80%82

系统架构概览

!系统架构图
图1：展示微服务在实际应用场景中的高层系统视图。

核心功能

1. 文档管理API：通过REST API支持文档的上传、删除和读取操作，方便用户管理文档。
2. 模块化向量数据库支持：默认使用PGVector作为向量数据库，采用模块化设计，可灵活支持其他向量数据库。