Dataprep微服务旨在预处理来自各种来源(结构化或非结构化数据)的数据为文本数据,并将文本数据转换为嵌入向量后存储到数据库中。
bashapt-get update apt-get install libreoffice
非结构化数据偶尔会包含图像数据,要将图像数据转换为文本数据,可使用LVM(大视觉模型)对图像进行总结。如需使用LVM,请先参考此文档启动LVM微服务,然后在启动任何dataprep微服务之前设置以下环境变量。
bashexport SUMMARIZE_IMAGE_VIA_LVM=1
Dataprep微服务支持多种数据库,如下表所示,详情请参考以下各自的文档。
| 数据库 | 文档 |
|---|---|
Redis | 使用Redis的Dataprep微服务 |
Milvus | 使用Milvus的Dataprep微服务 |
Qdrant | 使用Qdrant的Dataprep微服务 |
Pinecone | 使用Pinecone的Dataprep微服务 |
PGVector | 使用PGVector的Dataprep微服务 |
VDMS | 使用VDMS的Dataprep微服务 |
Multimodal | 使用Multimodal的Dataprep微服务 |
ElasticSearch | 使用ElasticSearch的Dataprep微服务 |
OpenSearch | 使用OpenSearch的Dataprep微服务 |
neo4j | 使用neo4j的Dataprep微服务 |
financial domain data | ***领域数据的Dataprep微服务 |
MariaDB | 使用MariaDB Vector的Dataprep微服务 |
ArangoDB | 使用ArangoDB Vector的Dataprep微服务 |
在离线环境(即无互联网访问的环境)中运行dataprep微服务的通用步骤如下,适用于所有数据库后端:
huggingface-cli download --cache-dir <模型数据目录> <模型>dataprep微服务:<模型数据目录>挂载为dataprep容器内的/data目录dataprep微服务时设置环境变量HF_HUB_OFFLINE为1例如:docker run -d -v <模型数据目录>:/data -e HF_HUB_OFFLINE=1 ... ...
来自真实用户的反馈,见证轩辕镜像的优质服务
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录认证访问私有仓库
在 Linux 系统配置镜像加速服务
在 Docker Desktop 配置镜像加速
Docker Compose 项目配置加速
Kubernetes 集群配置 Containerd
在宝塔面板一键配置镜像加速
Synology 群晖 NAS 配置加速
飞牛 fnOS 系统配置镜像加速
极空间 NAS 系统配置加速服务
爱快 iKuai 路由系统配置加速
绿联 NAS 系统配置镜像加速
QNAP 威联通 NAS 配置加速
Podman 容器引擎配置加速
HPC 科学计算容器配置加速
ghcr、Quay、nvcr 等镜像仓库
无需登录使用专属域名加速