illagrenan/pgloader

pgloader Docker镜像

概述

pgloader Docker镜像是基于pgloader工具的容器化实现，专为数据迁移设计，主要用于将数据从多种源数据库（如MySQL、SQLite、CSV文件等）高效迁移到PostgreSQL数据库，简化跨数据库迁移流程。

核心功能与特性

• 多源支持：兼容MySQL、SQLite、CSV、DBF、MSSQL等多种数据源
• 自动化转换：自动处理数据类型映射、表结构转换及约束迁移
• 高效加载：支持并行数据加载，提升迁移速度
• 事务保障：基于事务的迁移过程，确保数据一致性
• 详细日志：提供丰富的日志输出，便于迁移过程监控与问题排查

使用场景

• 数据库迁移项目：从其他数据库系统迁移至PostgreSQL
• 数据整合：将分散在不同数据源的数据集中到PostgreSQL
• ETL流程：作为数据仓库构建中的数据加载环节
• 开发/测试环境：快速复制生产数据到测试环境

使用方法

基本迁移命令（Docker Run）

从MySQL迁移到PostgreSQL：

bash
docker run --rm illagrenan/pgloader pgloader mysql://user:password@mysql-host:3306/source_db postgresql://user:password@postgres-host:5432/target_db

从CSV文件迁移

bash
# 挂载本地CSV文件目录到容器内
docker run --rm -v /local/csv_files:/data illagrenan/pgloader pgloader /data/source_data.csv postgresql://user:password@postgres-host:5432/target_db

使用自定义配置文件

对于复杂迁移需求，可使用配置文件定义迁移规则：

bash
# 挂载配置文件目录
docker run --rm -v /local/config:/config illagrenan/pgloader pgloader /config/migration_config.load

配置文件示例（migration_config.load）：

LOAD CSV
  FROM '/data/users.csv' (id, name, email, created_at)
  INTO postgresql://user:password@postgres-host:5432/target_db?table=users
  WITH truncate,
       skip header = 1,
       fields enclosed by '"',
       fields terminated by ',',
       fields escaped by backslash;

# 迁移后执行SQL语句
AFTER LOAD DO $
  CREATE INDEX idx_users_email ON users(email);
$;

常用参数说明

注意事项

• 确保源数据库与目标PostgreSQL数据库网络互通
• 迁移前建议备份目标数据库数据
• 对于超大型数据库，建议分批次迁移以避免资源占用过高
• 复杂数据类型（如JSON、数组）可能需要额外配置转换规则