hsldevcom/jore4-jore3-importer

Jore4-Jore3 Importer 镜像文档

概述

Jore4-Jore3 Importer（以下简称“导入工具”）是由HSLdevcom开发的专用数据迁移工具，旨在支持赫尔辛基地区公共交通系统从Jore3向Jore4的升级过渡。该工具负责读取Jore3系统的历史公共交通数据（如线路规划、站点信息、时刻表等），进行格式转换、数据验证与适配处理后，导入至Jore4系统，确保数据一致性与完整性。

核心功能与特性

• 数据读取：支持从Jore3系统的数据库或文件存储中提取结构化交通数据
• 格式转换：自动将Jore3数据模型转换为Jore4系统兼容的数据格式与 schema
• 数据验证：内置数据校验机制，确保导入数据符合Jore4业务规则与数据质量要求
• 批量处理：支持大规模数据集的批量导入，优化处理性能
• 日志与监控：提供详细的操作日志，记录数据转换与导入过程，便于问题排查
• 可配置性：支持通过配置文件自定义转换规则与导入参数

使用场景与适用范围

• 系统迁移：Jore3到Jore4系统升级过程中的全量数据迁移
• 增量更新：日常运营中Jore3数据变更后的增量同步至Jore4
• 数据备份恢复：作为Jore4系统数据备份恢复的辅助工具
• 开发测试：为Jore4系统开发与测试环境提供标准化测试数据

使用方法与配置说明

环境要求

• Docker Engine 20.10+
• 网络连通性：需确保容器可访问Jore3数据源（数据库/文件存储）与Jore4目标系统（API/数据库）
• 资源配置：建议至少2GB内存（根据数据量调整）

镜像获取

从GitHub Container Registry拉取镜像：

bash
docker pull ghcr.io/hsldevcom/jore4-jore3-importer:latest

基本使用示例

1. 全量数据导入（Docker Run）

bash
docker run -d \
  --name jore3-to-jore4-importer \
  -e JORE3_DB_HOST=jore3-db.example.com \
  -e JORE3_DB_USER=import_user \
  -e JORE3_DB_PASSWORD=secure_password \
  -e JORE4_API_URL=https://jore4-api.example.com/v1 \
  -e LOG_LEVEL=INFO \
  -v /local/jore3-export:/data/input \  # 挂载Jore3数据文件（若使用文件数据源）
  -v /local/importer-config:/app/config \  # 挂载自定义配置文件
  -v /local/importer-logs:/app/logs \  # 挂载日志目录
  ghcr.io/hsldevcom/jore4-jore3-importer:latest \
  --full-import  # 全量导入模式

2. 增量数据导入（Docker Compose）

创建docker-compose.yml：

yaml
version: '3.8'
services:
  jore3-importer:
    image: ghcr.io/hsldevcom/jore4-jore3-importer:latest
    container_name: jore3-importer
    environment:
      - JORE3_DB_HOST=jore3-db
      - JORE3_DB_PORT=5432
      - JORE3_DB_USER=import_user
      - JORE3_DB_PASSWORD=secure_password
      - JORE4_API_URL=https://jore4-api.example.com/v1
      - INCREMENTAL_START_DATE=2024-01-01  # 增量数据起始日期
      - LOG_LEVEL=DEBUG
    volumes:
      - ./config:/app/config
      - ./logs:/app/logs
    depends_on:
      - jore3-db  # 依赖Jore3数据库服务
    command: --incremental-import  # 增量导入模式

启动服务：

bash
docker-compose up -d

配置参数说明

环境变量配置

命令行参数

注意事项

1. 数据备份：执行导入前需确保Jore4目标数据已备份，避免数据覆盖风险
2. 权限配置：Jore3数据库用户需具备读权限，Jore4 API账户需具备写权限
3. 性能调优：大规模数据导入时建议调整JVM内存参数（通过JAVA_OPTS环境变量，如-e JAVA_OPTS="-Xmx4G"）
4. 版本兼容性：需使用与Jore4系统版本匹配的导入工具镜像，具体版本对应关系参见原GitHub仓库文档

参考链接

• 官方代码仓库：https://github.com/HSLdevcom/jore4-jore3-importer
• Jore4系统文档：HSL Jore4 Documentation