opea/dataprep

Dataprep微服务

Dataprep微服务旨在预处理来自各种来源（结构化或非结构化数据）的数据为文本数据，并将文本数据转换为嵌入向量后存储到数据库中。

目录

1. 安装要求
2. 使用LVM总结图像数据
3. 适用于多种数据库的Dataprep微服务
4. 在离线环境中运行

安装要求

bash
apt-get update
apt-get install libreoffice

使用LVM总结图像数据

非结构化数据偶尔会包含图像数据，要将图像数据转换为文本数据，可使用LVM（大视觉模型）对图像进行总结。如需使用LVM，请先参考此https://github.com/opea-project/GenAIExamples/blob/main/../lvms/README.md%E5%90%AF%E5%8A%A8LVM%E5%BE%AE%E6%9C%8D%E5%8A%A1%EF%BC%8C%E7%84%B6%E5%90%8E%E5%9C%A8%E5%90%AF%E5%8A%A8%E4%BB%BB%E4%BD%95dataprep%E5%BE%AE%E6%9C%8D%E5%8A%A1%E4%B9%8B%E5%89%8D%E8%AE%BE%E7%BD%AE%E4%BB%A5%E4%B8%8B%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E3%80%82

bash
export SUMMARIZE_IMAGE_VIA_LVM=1

适用于多种数据库的Dataprep微服务

Dataprep微服务支持多种数据库，如下表所示，详情请参考以下各自的文档。

在离线环境中运行

在离线环境（即无互联网访问的环境）中运行dataprep微服务的通用步骤如下，适用于所有数据库后端：

1. 下载以下模型，例如使用 huggingface-cli download --cache-dir <模型数据目录> <模型>

• microsoft/table-transformer-structure-recognition
• timm/resnet18.a1_in1k
• unstructuredio/yolo_x_layout

2. 使用以下设置启动dataprep微服务：

• 将<模型数据目录>挂载为dataprep容器内的/data目录
• 启动dataprep微服务时设置环境变量HF_HUB_OFFLINE为1

例如：docker run -d -v <模型数据目录>:/data -e HF_HUB_OFFLINE=1 ... ...