intel/object-store

DataStore Service 镜像文档

镜像概述

DataStore Service 是一个基于 https://github.com/minio/minio 的对象存储组件，主要用于对象存储。其核心功能是提供可靠的文件存储服务，特别适用于存储需要用于创建嵌入（Embeddings）的文件和文档。这些嵌入可帮助大语言模型（LLM）基于存储文件中的上下文信息回答用户查询。

核心功能与特性

• 基于 Minio 构建：依托 Minio 的高可用性和兼容性，提供稳定的对象存储能力
• 嵌入支持：专门优化用于存储需生成嵌入的文件和文档
• 集成兼容性：可与 DataPrep 服务 无缝集成，支持嵌入创建流程
• 对象存储基础功能：支持文件上传、下载、删除、访问控制等标准对象存储操作

使用场景与适用范围

• 文档嵌入存储：存储用于生成嵌入的各类文件（如文本、PDF、文档等）
• LLM 上下文支持：为大语言模型提供基于存储文档的上下文查询能力
• RAG 系统组件：作为检索增强生成（RAG）系统中的文档存储层
• 数据预处理辅助：配合 DataPrep 服务完成文档 ingestion 到嵌入生成的全流程

使用方法与配置说明

基本部署（Docker Run）

bash
docker run -d \
  --name datastore-service \
  -p 9000:9000 \
  -p 9001:9001 \
  -e MINIO_ROOT_USER=your-access-key \
  -e MINIO_ROOT_PASSWORD=your-secret-key \
  -v /path/to/local/storage:/data \
  minio/minio server /data --console-address ":9001"

环境变量配置

与 DataPrep 服务集成

1. 确保 DataStore 服务已启动并可访问
2. 在 DataPrep 服务配置中指定 DataStore 访问地址、Access Key 和 Secret Key
3. DataPrep 服务将自动将处理后的文档存储到 DataStore 中，并生成相应嵌入

访问控制台

部署后，可通过 http://localhost:9001 访问 Minio 控制台，使用配置的 MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD 登录，管理存储的对象和桶（Buckets）。