folioci/mod-data-export-worker

FOLIO - mod-data-export-worker 镜像文档

1. 镜像概述和主要用途

mod-data-export-worker是FOLIO（开源图书馆服务平台）生态系统的官方模块，主要用于数据导出处理。作为FOLIO系统的核心组件之一，该服务负责协调和执行数据导出任务，将系统中的数据（如图书资源、用户信息、借阅记录等）处理后存储到指定位置。其代码仓库地址为：https://github.com/folio-org/mod-data-export-worker%E3%80%82

2. 核心功能和特性

2.1 基础特性

• 模块端口：8081（服务监听端口）
• 数据库依赖：需数据库连接以存储和访问导出任务相关数据
• Java运行配置：默认JAVA_OPTIONS为-XX:MaxRAMPercentage=66.0 -XX:MetaspaceSize=384m -XX:MaxMetaspaceSize=512m -Xmx2048m，优化内存使用

2.2 集成服务支持

• Kafka消息队列：通过环境变量配置Kafka连接，支持消息驱动的任务处理
• 存储服务集成：支持AWS S3存储和本地文件系统存储，可通过环境变量配置访问参数

3. 使用场景和适用范围

适用于FOLIO系统环境中需进行数据导出处理的场景，例如：

• 图书馆管理系统中图书资源数据、用户借阅记录的批量导出
• 学术机构使用FOLIO进行资源管理时，生成数据报表并导出至外部存储（如AWS S3或本地文件系统）
• 需要通过消息队列（Kafka）异步处理大量数据导出任务的场景

4. 使用方法和配置说明

4.1 Docker部署示例

4.1.1 基本docker run命令

bash
docker run -d \
  -p 8081:8081 \
  -e KAFKA_HOST=your-kafka-host \
  -e KAFKA_PORT=9092 \
  -e AWS_URL=your-aws-s3-url \
  -e AWS_BUCKET=your-aws-bucket \
  -e AWS_ACCESS_KEY_ID=your-aws-access-key \
  -e AWS_SECRET_ACCESS_KEY=your-aws-secret-key \
  -e LOCAL_FS_URL=your-local-fs-url \
  -e LOCAL_FS_BUCKET=your-local-fs-bucket \
  -e DB_HOST=your-db-host \
  -e DB_PORT=your-db-port \
  -e DB_NAME=your-db-name \
  -e DB_USER=your-db-user \
  -e DB_PASSWORD=your-db-password \
  --name mod-data-export-worker \
  folio/mod-data-export-worker

注：实际部署需替换上述命令中的your-*占位符为实际环境参数，且需确保数据库连接参数正确配置（原metadata未提供具体数据库环境变量，需根据实际数据库类型补充，如PostgreSQL的DB_HOST、DB_PORT等）。

4.2 环境变量配置说明

4.2.1 Kafka相关配置

4.2.2 AWS存储服务配置

4.2.3 本地文件系统存储配置

4.2.4 其他配置

4.3 Java运行参数配置

默认JAVA_OPTIONS已优化内存使用，适用于大多数场景：

• -XX:MaxRAMPercentage=66.0：限制JVM最大内存使用为容器可用内存的66%
• -XX:MetaspaceSize=384m：初始元空间大小
• -XX:MaxMetaspaceSize=512m：最大元空间大小
• -Xmx2048m：最大堆内存为2048MB

如需调整，可通过-e JAVA_OPTIONS="your-custom-options"覆盖默认配置。

5. 注意事项

• 该服务依赖数据库连接，部署前需确保数据库服务可用且配置正确
• Kafka服务为必要依赖，需确保Kafka集群可访问，否则数据导出任务无法正常接收和处理
• 存储服务（AWS或本地文件系统）需提前创建对应存储桶，并确保访问密钥具有足够权限
• 实际部署时建议通过容器编排工具（如Docker Compose、Kubernetes）管理服务，确保高可用性和配置持久化