folioorg/mod-data-import

mod-data-import Docker镜像文档

镜像概述

mod-data-import是FOLIO（图书馆开源服务平台）的核心模块之一，主要用于处理批量数据导入任务。该镜像封装了数据导入相关的服务逻辑，支持与对象存储、消息队列集成，提供文件拆分、作业优先级评分等功能，满足图书馆系统中大规模数据导入的需求。

代码仓库：https://github.com/folio-org/mod-data-import

核心功能和特性

• 数据导入处理：支持批量数据导入流程管理，包括任务创建、执行与监控
• 文件拆分机制：可配置是否启用文件拆分，自定义每拆分文件的记录数
• 作业优先级评分：基于任务大小、创建时间、租户使用情况等多维度计算作业优先级
• S3存储集成：支持与S3兼容对象存储对接，用于导入文件的存储与读取
• Kafka消息集成：通过Kafka实现异步消息处理，支持分布式部署架构
• 多租户支持：针对多租户环境优化作业调度，基于租户使用情况调整任务优先级

使用场景

• FOLIO图书馆服务平台的批量数据导入（如Marc记录、用户数据、资源元数据等）
• 需要与对象存储（S3或兼容S3的存储服务）集成的大规模文件导入场景
• 需通过Kafka实现异步消息处理的分布式数据导入系统
• 对导入作业优先级有精细化管理需求的多租户环境

使用方法和配置说明

基础运行命令

bash
docker run -d \
  -p 8081:8081 \
  -e DB_HOST=your-db-host \
  -e DB_PORT=5432 \
  -e DB_NAME=folio \
  -e DB_USER=folio_user \
  -e DB_PASSWORD=folio_password \
  -e KAFKA_HOST=your-kafka-host \
  -e KAFKA_PORT=9092 \
  -e AWS_BUCKET=your-bucket \
  -e AWS_ACCESS_KEY_ID=your-access-key \
  -e AWS_SECRET_ACCESS_KEY=your-secret-key \
  folio/mod-data-import

关键配置参数

基础配置

• Module port: 8081（容器内服务端口，需映射至主机）
• Container memory: 542293850 bytes（约542MB，建议运行时分配不低于此内存）
• JAVA_OPTIONS: -XX:MaxRAMPercentage=66.0 -Djava.util.logging.config.file=vertx-default-jul-logging.properties（JVM参数，默认已配置）

数据库连接（必填）

需通过环境变量配置数据库连接信息（原文档未提供默认值，需用户自行设置）：

• DB_HOST: 数据库主机地址
• DB_PORT: 数据库端口
• DB_NAME: 数据库名称
• DB_USER: 数据库用户名
• DB_PASSWORD: 数据库密码

Kafka配置

• KAFKA_HOST: Kafka服务主机地址，默认10.0.2.15
• KAFKA_PORT: Kafka服务端口，默认9092

S3存储配置

• AWS_URL: S3服务URL，默认http://127.0.0.1:9000/（兼容S3的存储服务地址）
• AWS_REGION: S3区域（无默认值）
• AWS_BUCKET: S3存储桶名称，默认example-bucket
• AWS_ACCESS_KEY_ID: S3访问密钥ID，默认AKIAIOSFODNN7EXAMPLE
• AWS_SECRET_ACCESS_KEY: S3密钥，默认wJalrXUtnFEMI/K7MDENG/EXAMPLEKEY
• AWS_SDK: 是否启用AWS SDK，默认false
• S3_FORCEPATHSTYLE: 是否强制使用路径样式访问，默认false

文件拆分配置

• SPLIT_FILES_ENABLED: 是否启用文件拆分，默认false
• RECORDS_PER_SPLIT_FILE: 每个拆分文件的记录数，默认1000

作业优先级评分配置

• SCORE_JOB_SMALLEST: 小作业评分值，默认40
• SCORE_JOB_LARGEST: 大作业评分值，默认-40
• SCORE_JOB_REFERENCE: 作业大小参考值，默认100000
• SCORE_AGE_NEWEST: 最新作业年龄评分，默认0
• SCORE_AGE_OLDEST: 最旧作业年龄评分，默认50
• SCORE_AGE_EXTREME_THRESHOLD_MINUTES: 极端年龄阈值（分钟），默认480（8小时）
• SCORE_AGE_EXTREME_VALUE: 极端年龄评分值，默认10000
• SCORE_TENANT_USAGE_MIN: 租户低使用率评分，默认100
• SCORE_TENANT_USAGE_MAX: 租户高使用率评分，默认-200
• SCORE_PART_NUMBER_FIRST: 首个分卷作业评分，默认1
• SCORE_PART_NUMBER_LAST: 最后分卷作业评分，默认0
• SCORE_PART_NUMBER_LAST_REFERENCE: 分卷参考值，默认100

异步处理配置

• ASYNC_PROCESSOR_POLL_INTERVAL_MS: 异步处理器轮询间隔（毫秒），默认5000
• ASYNC_PROCESSOR_MAX_WORKERS_COUNT: 异步处理器最大工作线程数，默认1

Docker Compose示例

yaml
version: '3'
services:
  mod-data-import:
    image: folio/mod-data-import
    ports:
      - "8081:8081"
    environment:
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_NAME=folio_mod_data_import
      - DB_USER=folio
      - DB_PASSWORD=folio123
      - KAFKA_HOST=kafka
      - KAFKA_PORT=9092
      - AWS_URL=[***]
      - AWS_BUCKET=folio-imports
      - AWS_ACCESS_KEY_ID=minio_access_key
      - AWS_SECRET_ACCESS_KEY=minio_secret_key
      - AWS_SDK=false
      - SPLIT_FILES_ENABLED=true
      - RECORDS_PER_SPLIT_FILE=2000
    depends_on:
      - postgres
      - kafka
      - minio