timwilson/pgloader

pgloader Docker镜像文档

镜像概述

本镜像基于 https://github.com/dimitri/pgloader 官方项目构建，针对不同内存配置进行优化。pgloader 是一款功能强大的数据迁移工具，专注于将数据从多种数据源高效迁移至 PostgreSQL 数据库，支持自动化数据类型转换、并行加载及详细日志记录。

核心功能与特性

• 多数据源支持：兼容 MySQL、SQLite、CSV、DBF、MSSQL 等多种数据源
• 内存配置灵活：支持通过构建参数定制内存限制，适应不同规模数据迁移需求
• 自动化数据转换：自动处理源数据与 PostgreSQL 数据类型的映射与转换
• 并行加载优化：支持多线程并行数据加载，提升迁移效率
• 详细日志与报告：提供迁移过程中的详细日志输出及错误报告，便于问题排查

使用场景与适用范围

• 数据库迁移项目：从 MySQL、SQLite 等数据库迁移至 PostgreSQL
• 数据仓库构建：批量导入 CSV 等文件数据至 PostgreSQL 数据仓库
• 定制化迁移需求：需要调整内存配置以优化大规模数据迁移性能的场景
• 开发/测试环境：快速验证数据迁移流程及配置正确性

使用方法与配置说明

基本使用流程

1. 拉取镜像（假设镜像标签为 pgloader-memory-optimized）：

   bash
   docker pull [镜像仓库地址]/pgloader-memory-optimized
   

2. 运行迁移命令： 通过命令行直接指定迁移规则，或挂载配置文件执行迁移。

命令行直接执行示例

从 MySQL 迁移至 PostgreSQL：

bash
docker run --rm \
  pgloader-memory-optimized \
  pgloader mysql://user:password@mysql-host/dbname postgresql://user:password@pg-host/dbname

从 CSV 文件迁移至 PostgreSQL：

bash
docker run --rm \
  -v /local/path/to/data.csv:/data.csv \
  pgloader-memory-optimized \
  pgloader --type csv /data.csv postgresql://user:password@pg-host/dbname?table=target_table

配置文件方式执行

1. 创建 pgloader 配置文件（如 migration.conf）：

   ini
   LOAD DATABASE
     FROM mysql://user:password@mysql-host/dbname
     INTO postgresql://user:password@pg-host/dbname
   WITH include drop, create tables, create indexes, reset sequences
   SET work_mem to '128MB', maintenance_work_mem to '512MB';
   

2. 挂载配置文件并执行：

   bash
   docker run --rm \
     -v /local/path/to/migration.conf:/migration.conf \
     pgloader-memory-optimized \
     pgloader /migration.conf
   

内存配置说明

本镜像在构建时支持通过 --memory-limit 参数定制默认内存配置，典型配置包括：

• 轻量迁移（小型数据库）：--memory-limit 256MB
• 中等规模迁移：--memory-limit 1GB
• 大规模迁移：--memory-limit 4GB

运行时可通过命令行参数覆盖默认配置，例如：

bash
docker run --rm \
  pgloader-memory-optimized \
  pgloader --memory-limit 2GB mysql://user:password@mysql-host/dbname postgresql://user:password@pg-host/dbname

注意事项

• 确保源数据库与目标 PostgreSQL 数据库网络互通（可通过 --network 参数指定 Docker 网络）
• 迁移前建议备份目标数据库，避免数据覆盖
• 大规模数据迁移时，建议通过 -v 挂载宿主机目录存储迁移日志，便于后续分析