folioci/mod-marc-migrations

FOLIO - mod-marc-migrations

镜像概述和主要用途

mod-marc-migrations是FOLIO项目中专注于MARC记录高性能迁移的模块，旨在高效处理大规模MARC数据的迁移工作，支持与数据库和S3兼容存储系统的集成。

代码仓库：https://github.com/folio-org/mod-marc-migrations

核心功能和特性

• 高性能MARC记录迁移处理，支持批量数据操作
• 灵活的数据库连接池配置，优化数据库交互性能
• 集成S3兼容存储服务，用于迁移文件的存储与管理
• 可配置的块处理机制，支持并行处理以提升效率
• 全面的环境变量配置，适应不同部署环境需求

使用场景和适用范围

适用于图书馆系统中MARC格式记录的大规模迁移场景，特别是基于FOLIO平台的图书馆服务，可用于数据导入、系统升级或跨系统数据迁移等需求。

详细使用方法和配置说明

Metadata

• 容器内存（字节）：536870912
• 模块端口：8081/tcp

默认环境变量

Java选项

• JAVA_OPTIONS
  默认值：-XX:MaxRAMPercentage=85.0

FOLIO数据库连接

• FOLIO database connection：启用数据库连接（值为true）

• 通用数据库环境变量

  • DB_DATABASE：数据库名称
  • DB_HOST：数据库主机地址
  • DB_PORT：数据库端口
  • DB_USERNAME：数据库用户名
  • DB_PASSWORD：数据库密码
  • DB_CHARSET：数据库字符集

• 高级数据库连接池配置

  环境变量	描述	默认值
  DB_CONNECTION_TIMEOUT	客户端从连接池获取连接的最大等待时间（毫秒）	30000
  DB_IDLE_TIMEOUT	连接在池中允许空闲的最长时间（仅当DB_MINIMUM_IDLE < DB_MAXPOOLSIZE时生效）	600000
  DB_INITIALIZATION_FAIL_TIMEOUT	连接池初始化时若无法获取初始连接是否"快速失败"	30000
  DB_KEEPALIVE_TIME	HikariCP保持连接活跃的频率（0表示禁用）	0
  DB_LEAK_DETECTION_THRESHOLD	连接离开池后可能发生泄漏的日志记录阈值（0表示禁用）	30000
  DB_MAXPOOLSIZE	连接池允许的最大连接数（含空闲和使用中连接）	10
  DB_MAX_LIFETIME	池中连接的最大生命周期（毫秒）	***
  DB_MINIMUM_IDLE	池中维护的最小空闲连接数	10
  DB_VALIDATION_TIMEOUT	连接活性测试的最大时间（必须小于DB_CONNECTION_TIMEOUT）	5000

MARC迁移处理配置

• CHUNK_FETCH_IDS_COUNT
  描述：块准备阶段每次查询获取的记录ID数量（RECORDS_CHUNK_SIZE应为此值的除数以保持块大小）
  默认值：500

• CHUNK_PERSIST_COUNT
  描述：构建多少个块后持久化到数据库
  默认值：1_000

• CHUNK_PROCESSING_MAX_PARALLELISM
  描述：块处理的最大线程池大小
  默认值：4

• CHUNK_RETRYING_MAX_IDS_COUNT
  描述：重试的最大块ID数量
  默认值：1000

• RECORDS_CHUNK_SIZE
  描述：单个处理块中的记录数量
  默认值：500

S3存储配置

• S3_ACCESS_KEY_ID：S3兼容服务访问密钥

• S3_BUCKET：S3兼容服务桶名称

• S3_IS_AWS
  描述：是否使用AWS S3作为文件存储
  默认值：false

• S3_LOCAL_SUB_PATH
  描述：迁移期间本地存储Authority和Marc bib文件的S3子路径
  默认值：mod-marc-migrations

• S3_REGION
  描述：S3兼容服务区域
  默认值：us-west-2

• S3_RETRY_COUNT
  描述：S3客户端错误时的重试次数
  默认值：3

• S3_RETRY_DELAY_MS
  描述：S3客户端错误时的重试间隔（毫秒）
  默认值：500

• S3_SECRET_ACCESS_KEY：S3兼容服务密钥

• S3_SUB_PATH
  描述：文件存储的S3子路径
  默认值：mod-marc-migrations

• S3_URL
  描述：S3兼容服务URL
  默认值：https://s3.amazonaws.com

其他配置

• ENV
  描述：部署的逻辑名称（在共享Kafka/Elasticsearch集群的环境中必须唯一，仅允许a-z、0-9、-、_）
  默认值：folio

• OKAPI_URL
  描述：Okapi服务URL
  默认值：okapi

• SYSTEM_USER_USERNAME
  描述：系统用户名
  默认值：mod-marc-migrations

Docker部署示例

docker run命令示例

bash
docker run -d \
  --name mod-marc-migrations \
  -p 8081:8081 \
  -e DB_HOST=postgres \
  -e DB_PORT=5432 \
  -e DB_DATABASE=folio_db \
  -e DB_USERNAME=folio_user \
  -e DB_PASSWORD=secure_password \
  -e S3_URL=[***] \
  -e S3_BUCKET=folio-marc-data \
  -e S3_ACCESS_KEY_ID=your_access_key \
  -e S3_SECRET_ACCESS_KEY=your_secret_key \
  -e RECORDS_CHUNK_SIZE=1000 \
  folioorg/mod-marc-migrations