karlsangabriel/pgloader

pgloader Docker镜像文档

镜像概述

本镜像基于mastersland/pgloader构建，主要用于在MySQL和PostgreSQL数据库之间进行数据迁移。它封装了pgloader工具，提供便捷的数据库迁移能力，支持自定义数据类型转换规则和加载配置，适用于需要在不同数据库系统间迁移数据的场景。

核心功能与特性

• 跨数据库迁移：支持从MySQL数据库迁移数据到PostgreSQL数据库
• 调试模式：提供--debug选项，便于迁移过程中的问题排查
• 自定义转换规则：允许通过配置文件自定义数据类型转换逻辑
• 灵活配置：支持设置数据库连接参数、迁移选项（如创建表、索引、外键等）

使用场景

• 开发环境中MySQL到PostgreSQL的数据库迁移
• 生产环境数据迁移前的测试验证
• 需要自定义数据类型转换规则的数据库迁移场景
• 数据库架构迁移或升级过程中的数据迁移

使用方法与配置说明

基本使用方法

通过docker run命令直接执行迁移：

bash
docker run --rm --name pgloader karlsangabriel/pgloader:<tag-name> pgloader --debug mysql://root:'mysql-password'@host.docker.internal:3306/voyagerdb postgresql://postgres:'pg-password'@host.docker.internal:5432/voyagerdb

注意：<tag-name>需替换为具体镜像标签，可在镜像仓库的"tags"标签页查看可用版本。

在容器内执行pgloader

也可进入容器后执行pgloader命令：

bash
# 启动容器并进入交互模式
docker run -it --rm --name pgloader karlsangabriel/pgloader:<tag-name> /bin/bash

# 在容器内执行迁移命令
pgloader --debug mysql://root:'mysql-password'@host.docker.internal:3306/voyagerdb postgresql://postgres:'pg-password'@host.docker.internal:5432/voyagerdb

密码处理：若密码中包含特殊字符，引号可能导致问题，可尝试移除引号后重试。

自定义数据类型转换

通过指定配置文件自定义迁移规则，创建一个.load文件（如my-custom-casting.load），内容示例：

LOAD DATABASE
FROM mysql://root:Password@host.docker.internal:3306/myschema1
INTO pgsql://postgres:Password@host.docker.internal:5433/mypgdatabase
 WITH include drop, create tables, no truncate,
      create indexes, reset sequences, foreign keys
  SET maintenance_work_mem to '128MB', work_mem to '12MB',
      search_path to 'myschema1' /* 迁移到指定schema */
 CAST type datetime to timestamptz
           drop default drop not null using zero-dates-to-null,
      type date drop not null drop default using zero-dates-to-null,
      type year to integer,
      type integer to integer drop typemod,
      type int to integer drop typemod
 BEFORE LOAD DO
      $ create schema if not exists myschema1; $;

执行自定义配置文件：

bash
pgloader my-custom-casting.load

配置参数说明

• 连接字符串格式：mysql://<user>:<password>@<host>:<port>/<database>（MySQL源）和postgresql://<user>:<password>@<host>:<port>/<database>（PostgreSQL目标）
• 迁移选项（WITH子句）：
  • include drop：迁移前删除目标表
  • create tables：自动创建目标表
  • no truncate：不截断目标表
  • create indexes：创建索引
  • reset sequences：重置序列
  • foreign keys：迁移外键约束
• 性能参数（SET子句）：可设置maintenance_work_mem、work_mem等PostgreSQL性能参数
• 数据类型转换（CAST子句）：自定义不同数据类型的转换规则，如datetime转timestamptz、year转integer等
• 前置操作（BEFORE LOAD DO）：迁移前执行的SQL语句，如创建schema