opea/dataprep Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Dataprep微服务

Dataprep微服务旨在预处理来自各种来源（结构化或非结构化数据）的数据为文本数据，并将文本数据转换为嵌入向量后存储到数据库中。

目录

1. 安装要求
2. 使用LVM总结图像数据
3. 适用于多种数据库的Dataprep微服务
4. 在离线环境中运行

安装要求

bash
apt-get update
apt-get install libreoffice

使用LVM总结图像数据

非结构化数据偶尔会包含图像数据，要将图像数据转换为文本数据，可使用LVM（大视觉模型）对图像进行总结。如需使用LVM，请先参考此文档启动LVM微服务，然后在启动任何dataprep微服务之前设置以下环境变量。

bash
export SUMMARIZE_IMAGE_VIA_LVM=1

适用于多种数据库的Dataprep微服务

Dataprep微服务支持多种数据库，如下表所示，详情请参考以下各自的文档。

在离线环境中运行

在离线环境（即无互联网访问的环境）中运行dataprep微服务的通用步骤如下，适用于所有数据库后端：

1. 下载以下模型，例如使用 huggingface-cli download --cache-dir <模型数据目录> <模型>

• microsoft/table-transformer-structure-recognition
• timm/resnet18.a1_in1k
• unstructuredio/yolo_x_layout

2. 使用以下设置启动dataprep微服务：

• 将<模型数据目录>挂载为dataprep容器内的/data目录
• 启动dataprep微服务时设置环境变量HF_HUB_OFFLINE为1

例如：docker run -d -v <模型数据目录>:/data -e HF_HUB_OFFLINE=1 ... ...