folioorg/mod-entities-links

FOLIO - mod-entities-links 镜像文档

镜像概述

mod-entities-links是FOLIO项目的核心模块之一，用于管理图书馆系统中各类实体间的链接关系（如实例与权威记录的关联）。该Docker镜像封装了模块运行所需的环境及配置，支持数据库连接、Kafka消息处理和S3存储集成，为FOLIO平台提供实体链接的创建、维护与统计功能。

代码仓库：https://github.com/folio-org/mod-entities-links

元数据

• 容器内存：***字节（1GB）
• 模块端口：8081/tcp

核心功能与特性

1. 实体链接管理：处理实例与权威记录等实体间的链接关系，支持链接创建、更新与统计
2. 数据库连接池配置：提供灵活的数据库连接池参数，优化连接性能与资源利用
3. Kafka消息处理：支持多主题消息的消费与生产，配置并发线程数、分区数及复制因子
4. S3存储集成：兼容AWS S3及S3兼容服务，用于文件存储与管理
5. 数据导入处理：管理数据导入作业生命周期，包括取消事件处理与缓存配置
6. 权威记录归档：控制已删除权威记录在归档表中的保留周期

使用场景与适用范围

适用于基于FOLIO的图书馆服务平台，主要应用于：

• 图书馆资源实体（如书目记录、权威记录）间的关联关系管理
• 数据导入流程中的实体链接处理
• 实体链接变更的实时消息处理与统计分析
• 需要持久化存储实体关系数据的场景

使用方法与配置说明

Docker运行示例

bash
docker run -d \
  --name mod-entities-links \
  -p 8081:8081 \
  -e DB_HOST=postgres \
  -e DB_PORT=5432 \
  -e DB_DATABASE=folio \
  -e DB_USERNAME=folio_user \
  -e DB_PASSWORD=folio_password \
  -e KAFKA_HOST=kafka \
  -e KAFKA_PORT=9092 \
  -e OKAPI_URL=http://okapi:9130 \
  docker.xuanyuan.run/folio/mod-entities-links

Docker Compose配置示例

yaml
version: '3'
services:
  mod-entities-links:
    image: docker.xuanyuan.run/folio/mod-entities-links
    ports:
      - "8081:8081"
    environment:
      - DB_HOST=postgres
      - DB_PORT=5432
      - DB_DATABASE=folio
      - DB_USERNAME=folio_user
      - DB_PASSWORD=folio_password
      - DB_MAXPOOLSIZE=20
      - KAFKA_HOST=kafka
      - KAFKA_PORT=9092
      - KAFKA_SECURITY_PROTOCOL=PLAINTEXT
      - OKAPI_URL=http://okapi:9130
      - S3_BUCKET=folio-entities-links
      - S3_REGION=us-west-2
    depends_on:
      - postgres
      - kafka
      - okapi

环境变量配置

JVM配置

• JAVA_OPTIONS：JVM启动参数，默认值：-XX:MaxRAMPercentage=85.0

数据库连接配置

• FOLIO database connection：启用数据库连接，默认值：true

通用数据库环境变量：

• DB_DATABASE：数据库名称
• DB_HOST：数据库主机名
• DB_PORT：数据库端口
• DB_USERNAME：数据库用户名
• DB_PASSWORD：数据库密码
• DB_CHARSET：数据库字符集

数据库连接池配置：

• DB_CONNECTION_TIMEOUT：连接池获取连接超时时间（毫秒），默认值：30000
• DB_IDLE_TIMEOUT：连接池空闲连接超时时间（毫秒），仅当DB_MINIMUM_IDLE小于DB_MAXPOOLSIZE时生效，默认值：600000
• DB_INITIALIZATION_FAIL_TIMEOUT：连接池初始化失败超时时间（毫秒），默认值：30000
• DB_KEEPALIVE_TIME：连接保活检测间隔（毫秒，0表示禁用），默认值：0
• DB_LEAK_DETECTION_THRESHOLD：连接泄漏检测阈值（毫秒，0表示禁用），默认值：30000
• DB_MAXPOOLSIZE：连接池最大连接数，默认值：10
• DB_MAX_LIFETIME：连接最大生命周期（毫秒），默认值：1800000
• DB_MINIMUM_IDLE：连接池最小空闲连接数，默认值：10
• DB_VALIDATION_TIMEOUT：连接有效性检测超时时间（毫秒，需小于DB_CONNECTION_TIMEOUT），默认值：5000

权威记录归档配置

• AUTHORITY_ARCHIVES_EXPIRATION_PERIOD：权威记录归档表中已删除记录的保留周期（天），默认值：7

数据导入配置

• DI_CANCELED_JOB_CACHE_MAX_SIZE：每个模块实例存储的已取消数据导入作业ID的最大数量，默认值：500
• DI_CANCELED_JOB_CACHE_TTL：本地缓存中已取消数据导入作业ID的过期时间（如24h、30m），默认值：24h

部署环境配置

• ENV：部署环境逻辑名称，在使用共享Kafka/Elasticsearch集群时需唯一，仅允许a-z（不区分大小写）、0-9、-、_字符，默认值：folio

实例存储配置

• INSTANCE_STORAGE_QUERY_BATCH_SIZE：单次从库存存储检索的实例数量（最大90，基于URI长度限制），默认值：50

Kafka配置

基础连接配置：

• KAFKA_HOST：Kafka broker主机名，默认值：kafka
• KAFKA_PORT：Kafka broker端口，默认值：9092
• KAFKA_SECURITY_PROTOCOL：Kafka通信安全协议（SSL或PLAINTEXT），默认值：PLAINTEXT

SSL配置（可选，用于安全连接）：

• KAFKA_SSL_KEYSTORE_LOCATION：Kafka密钥库文件路径（双向认证时客户端使用）
• KAFKA_SSL_KEYSTORE_PASSWORD：Kafka密钥库密码（仅在配置密钥库路径时需要）
• KAFKA_SSL_TRUSTSTORE_LOCATION：Kafka信任库文件路径
• KAFKA_SSL_TRUSTSTORE_PASSWORD：Kafka信任库密码（未设置时仍使用信任库但禁用完整性检查）

消费者并发配置：

• KAFKA_AUTHORITIES_CONSUMER_CONCURRENCY：inventory.authority消息消费的并发线程数，默认值：1
• KAFKA_DI_CANCELED_CONSUMER_CONCURRENCY：DI_JOB_CANCELLED事件消费的并发线程数，默认值：1
• KAFKA_DI_CONSUMER_CONCURRENCY：MARC权威记录数据导入事件消费的并发线程数，默认值：4
• KAFKA_INSTANCE_AUTHORITY_STATS_CONSUMER_CONCURRENCY：links.instance-authority-stats消息消费的并发线程数，默认值：1

主题配置：

• KAFKA_AUTHORITY_SOURCE_FILE_TOPIC_PARTITIONS：authority-authority-source-file主题分区数
• KAFKA_AUTHORITY_SOURCE_FILE_TOPIC_REPLICATION_FACTOR：authority-authority-source-file主题复制因子
• KAFKA_CONSUMER_MAX_POLL_RECORDS：单次poll()调用返回的最大记录数，默认值：50
• KAFKA_DI_INVENTORY_AUTHORITY_CREATED_READY_FOR_POST_PROCESSING_PARTITIONS：DI_INVENTORY_AUTHORITY_CREATED_READY_FOR_POST_PROCESSING主题分区数，默认值：1
• KAFKA_DI_INVENTORY_AUTHORITY_CREATED_READY_FOR_POST_PROCESSING_REPLICATION_FACTOR：DI_INVENTORY_AUTHORITY_CREATED_READY_FOR_POST_PROCESSING主题复制因子
• KAFKA_DI_INVENTORY_AUTHORITY_UPDATED_PARTITIONS：DI_INVENTORY_AUTHORITY_UPDATED主题分区数，默认值：1
• KAFKA_DI_INVENTORY_AUTHORITY_UPDATED_REPLICATION_FACTOR：DI_INVENTORY_AUTHORITY_UPDATED主题复制因子
• KAFKA_INSTANCE_AUTHORITY_CHANGE_PARTITIONS：处理权威链接源变更时，links.instance-authority事件包含的实例-权威链接数量，默认值：100
• KAFKA_INSTANCE_AUTHORITY_STATS_TOPIC_PARTITIONS：links.instance-authority-stats主题分区数，默认值：10
• KAFKA_INSTANCE_AUTHORITY_STATS_TOPIC_REPLICATION_FACTOR：links.instance-authority-stats主题复制因子
• KAFKA_INSTANCE_AUTHORITY_TOPIC_PARTITIONS：links.instance-authority主题分区数，默认值：10
• KAFKA_INSTANCE_AUTHORITY_TOPIC_REPLICATION_FACTOR：links.instance-authority主题复制因子

Okapi配置

• OKAPI_URL：Okapi服务URL，默认值：okapi

S3存储配置

• S3_ACCESS_KEY_ID：S3兼容服务访问密钥
• S3_BUCKET：S3兼容服务存储桶名称
• S3_IS_AWS：是否使用AWS S3作为文件存储，默认值：true
• S3_LOCAL_SUB_PATH：本地文件存储的S3子路径，默认值：mod-entities-links
• S3_REGION：S3兼容服务区域，默认值：us-west-2
• S3_RETRY_COUNT：S3客户端错误重试次数，默认值：3
• S3_RETRY_DELAY_MS：S3客户端重试间隔（毫秒），默认值：500
• S3_SECRET_ACCESS_KEY：S3兼容服务密钥
• S3_URL：S3兼容服务URL，默认值：https://s3.amazonaws.com