FOLIO - mod-data-import 镜像文档

镜像概述

mod-data-import是FOLIO项目的核心模块之一，专注于数据导入处理流程。该模块支持数据库交互，集成Kafka消息系统和AWS S3存储服务，提供文件拆分、异步任务调度及多维度作业评分机制，适用于FOLIO生态系统中各类数据导入场景的需求。

核心功能与特性

• 数据导入处理：提供完整的数据导入流程管理，支持结构化数据的导入与处理
• 数据库集成：依赖数据库连接存储导入任务元数据及处理状态
• 消息队列支持：通过Kafka实现异步消息传递，优化任务处理流程
• 云存储集成：支持AWS S3协议的对象存储服务，用于文件存储与访问
• 文件拆分机制：可配置大型文件拆分功能，按指定记录数拆分文件
• 作业评分系统：基于作业大小、时间、租户使用率等多维度参数进行评分，动态调整任务优先级
• 异步处理框架：支持异步任务处理，可配置轮询间隔与最大工作线程数

使用场景与适用范围

主要应用于FOLIO生态系统（如图书馆管理系统、资源管理平台等）的数据导入场景，适用于需要批量导入、异步处理数据的业务场景，需配合FOLIO其他服务组件协同工作。

使用方法与配置说明

基础信息

• 模块端口：8081（容器内服务端口）
• 内存需求：542293850字节（约517MB）
• 数据库依赖：需配置数据库连接（如PostgreSQL）
• Java配置：-XX:MaxRAMPercentage=66.0 -Djava.util.logging.config.file=vertx-default-jul-logging.properties

Docker运行示例

docker run -d \
  --name mod-data-import \
  -p 8081:8081 \
  -e KAFKA_HOST=kafka-service \
  -e KAFKA_PORT=9092 \
  -e AWS_BUCKET=folio-import-storage \
  -e AWS_ACCESS_KEY_ID=your-access-key \
  -e AWS_SECRET_ACCESS_KEY=your-secret-key \
  -e DB_HOST=db-host \
  -e DB_PORT=5432 \
  -e DB_NAME=folio_data_import \
  -e DB_USER=folio_user \
  -e DB_PASSWORD=folio_password \
  folio/mod-data-import

环境变量配置说明

Kafka配置

AWS S3配置

文件处理配置

作业评分配置

异步处理配置

代码仓库

[***]