intel/dataprep-visualdata-milvus

视觉数据准备微服务

概述

Dataprep微服务旨在预处理视觉数据（包括图像和视频），并将其特征嵌入存储到向量数据库中以实现高效检索。它利用CLIP模型的图像编码器提取嵌入，为大规模数据集提供高级搜索能力。

核心功能与特性

视频处理

• 按可配置间隔提取帧以生成嵌入，确保视频数据的高效处理。

图像/帧处理

• 执行调整大小、颜色转换、归一化以及目标检测与裁剪操作。
• 目标检测和裁剪增强了复杂场景图像的检索性能，确保关键对象在调整大小后仍可识别。

元数据链接

• 裁剪图像通过元数据与原始图像关联。检索时，若裁剪图像匹配，将返回原始图像以提供上下文。

基于主机的数据源

• 用户无需上传数据，可指定主机机器上的目录作为数据源。此方式针对大规模数据集优化，支持微服务顺序或批量处理文件。

编程语言

Python

工作原理

Dataprep微服务高效预处理视觉数据（图像和视频），并将特征嵌入存储到向量数据库以实现高级检索。其工作流程如下：

1. 视频处理：按可配置间隔提取帧，确保视频数据的高效嵌入生成。
2. 图像/帧处理：图像和视频帧经过调整大小、颜色转换、归一化及目标检测与裁剪等预处理步骤。目标检测和裁剪通过保留关键对象（否则调整大小后可能无法识别），提升复杂场景图像的检索性能。
3. 元数据链接：裁剪图像通过元数据与原始图像关联，检索时返回原始图像以提供上下文。
4. 数据处理方式：支持指定主机目录作为数据源，优化大规模数据集处理，可顺序或批量处理文件。

使用场景与适用范围

适用于需要处理大规模视觉数据并实现高效检索的场景，包括但不限于：

• 图像库管理系统
• 视频内容分析平台
• 视觉搜索应用
• 大规模视觉数据集预处理流程

使用方法与配置说明

数据源配置

• 主机目录挂载：通过挂载主机目录作为数据源，无需上传数据，直接处理本地文件。

核心配置参数

处理模式

• 顺序处理：逐个处理目录中的文件
• 批量处理：按配置的批量大小并行处理文件

部署示例

Docker Run命令

bash
docker run -d \
  --name visual-dataprep \
  -v /path/to/host/data:/app/data \
  -e VECTOR_DB_HOST=vector-db.example.com \
  -e VECTOR_DB_PORT=19530 \
  -e FRAME_EXTRACTION_INTERVAL=5 \
  -e IMAGE_RESIZE_DIM=256 \
  your-registry/visual-dataprep:latest

Docker Compose配置

yaml
version: '3.8'
services:
  visual-dataprep:
    image: your-registry/visual-dataprep:latest
    volumes:
      - /path/to/host/data:/app/data
    environment:
      - VECTOR_DB_HOST=vector-db
      - VECTOR_DB_PORT=19530
      - FRAME_EXTRACTION_INTERVAL=5
      - IMAGE_RESIZE_DIM=256
      - OBJECT_DETECTION_THRESHOLD=0.6
    depends_on:
      - vector-db

  vector-db:
    image: milvusdb/milvus:v2.3.0
    ports:
      - "19530:19530"
    volumes:
      - milvus-data:/var/lib/milvus

volumes:
  milvus-data:

了解更多

• 从https://github.com/open-edge-platform/edge-ai-libraries/blob/main/microservices/visual-data-preparation-for-retrieval/milvus/docs/user-guide/get-started.md%E5%BC%80%E5%A7%8B