openmf/ph-ee-importer-rdbms

Importer RDBMS Microservice 镜像文档

镜像概述和主要用途

Importer RDBMS microservice镜像是一个轻量级、高性能的关系型数据库(RDBMS)数据导入微服务，旨在提供高效、可配置的数据抽取、转换和加载(ETL)能力。该镜像基于微服务架构设计，可独立部署或集成到现有服务体系中，支持多种关系型数据库（如MySQL、PostgreSQL、SQL Server等）的数据导入操作，适用于各类数据集成和数据迁移场景。

核心功能和特性

• 多数据库支持：兼容主流关系型数据库，包括MySQL、PostgreSQL、SQL Server等
• 灵活的数据转换：提供可配置的数据转换规则，支持字段映射、格式转换、数据清洗等操作
• 批量导入优化：内置批量导入机制，支持自定义批次大小和提交间隔，提升导入性能
• 可配置化：通过环境变量或配置文件灵活配置数据源、目标数据库、导入规则等参数
• 完善的日志监控：支持多级别日志输出，便于问题排查和运行状态监控
• 高可扩展性：基于微服务架构，支持水平扩展，可根据数据量动态调整服务实例数量
• 轻量级部署：容器化设计，体积小巧，启动快速，易于集成到容器编排平台（如Kubernetes、Docker Compose）

使用场景和适用范围

• 企业数据仓库构建：作为数据仓库的前置数据接入服务，将业务系统数据导入到数据仓库
• 跨系统数据同步：实现不同业务系统间的关系型数据库数据同步，保障数据一致性
• 定期数据迁移：用于系统升级或架构调整时的数据库数据迁移工作
• 第三方数据导入：将外部数据源（如CSV、JSON文件）导入到自有关系型数据库中
• 数据备份与恢复：辅助完成数据库数据的备份导入或恢复操作
• 微服务架构数据集成：在微服务体系中作为独立的数据导入组件，与其他服务解耦

详细使用方法和配置说明

环境要求

• Docker 1.13.0+ 或兼容的容器运行时
• 目标RDBMS数据库服务可访问（网络连通性）
• 若使用文件数据源，需挂载数据卷或确保容器内可访问数据源文件

Docker部署示例

1. 使用docker run命令部署

bash
docker run -d \
  --name importer-rdbms \
  -e DB_HOST=mysql.example.com \
  -e DB_PORT=3306 \
  -e DB_USER=import_user \
  -e DB_PASSWORD=secure_password \
  -e DB_NAME=enterprise_db \
  -e DB_TYPE=mysql \
  -e SOURCE_TYPE=csv \
  -e SOURCE_PATH=/data/input \
  -e BATCH_SIZE=2000 \
  -e LOG_LEVEL=INFO \
  -v /local/data/input:/data/input \
  -v /local/config:/config \
  your-registry/importer-rdbms:latest

2. 使用Docker Compose部署

创建docker-compose.yml文件：

yaml
version: '3.8'

services:
  importer:
    image: your-registry/importer-rdbms:latest
    container_name: importer-rdbms
    restart: always
    environment:
      - DB_HOST=mysql
      - DB_PORT=3306
      - DB_USER=root
      - DB_PASSWORD=root_password
      - DB_NAME=target_db
      - DB_TYPE=mysql
      - SOURCE_TYPE=json
      - SOURCE_PATH=/data/input
      - BATCH_SIZE=1500
      - COMMIT_INTERVAL=1500
      - TRANSFORM_CONFIG=/config/transform.json
      - LOG_LEVEL=INFO
      - LOG_PATH=/logs/importer.log
    volumes:
      - ./input-data:/data/input
      - ./config:/config
      - ./logs:/logs
    depends_on:
      - mysql
    networks:
      - importer-network

  mysql:
    image: mysql:8.0
    container_name: importer-mysql
    restart: always
    environment:
      - MYSQL_ROOT_PASSWORD=root_password
      - MYSQL_DATABASE=target_db
    ports:
      - "3306:3306"
    volumes:
      - mysql-data:/var/lib/mysql
    networks:
      - importer-network

networks:
  importer-network:
    driver: bridge

volumes:
  mysql-data:

启动服务：

bash
docker-compose up -d

配置参数说明

环境变量参数

数据转换配置文件示例（TRANSFORM_CONFIG）

转换配置文件为JSON格式，用于定义数据源到目标数据库的字段映射和转换规则：

json
{
  "source_table": "input_data",
  "target_table": "user_info",
  "field_mappings": [
    {
      "source_field": "id",
      "target_field": "user_id",
      "transform_type": "integer"
    },
    {
      "source_field": "name",
      "target_field": "user_name",
      "transform_type": "uppercase"
    },
    {
      "source_field": "birth_date",
      "target_field": "birth_dt",
      "transform_type": "date_format",
      "params": {
        "source_format": "YYYY-MM-DD",
        "target_format": "DD/MM/YYYY"
      }
    },
    {
      "source_field": "email",
      "target_field": "contact_email",
      "transform_type": "default",
      "default_value": "unknown@example.com"
    }
  ],
  "filter_condition": "source_field.active = 'true'"
}

注意事项

• 数据权限：确保目标数据库用户拥有足够的权限（如INSERT、UPDATE权限）
• 网络配置：建议通过容器网络（如Docker Compose网络）连接数据库以提高安全性
• 性能调优：大规模数据导入时可通过调整BATCH_SIZE参数优化性能（建议根据数据库性能测试确定最优值）
• 数据一致性：启用事务提交（COMMIT_INTERVAL>0）可保障数据一致性，导入后建议验证数据完整性
• 配置权限：挂载的配置文件和数据文件需确保容器内进程有读取权限，避免因权限问题导致服务启动失败