chulinx/pgloader

chulinx/pgloader:v0.3 镜像文档

镜像概述

该Docker镜像基于robbash/pgloader:amd64构建，集成了数据迁移模板和自动化脚本，专门用于将MySQL数据库迁移至PostgreSQL数据库。通过参数化配置，可灵活指定源MySQL和目标PostgreSQL的连接信息，实现自动化的数据迁移流程。

核心功能与特性

• 自动化迁移流程：通过入口脚本entrypoint.sh接收参数，自动替换迁移模板中的配置信息，生成并执行迁移任务
• 参数化配置：支持自定义数据库名称、MySQL/PostgreSQL的IP地址及端口
• 迁移规则预设：包含默认迁移规则（如include drop、create tables、create indexes等）及数据类型转换（datetime转timestamp）
• 批量迁移支持：提供示例脚本migrate.sh，支持多数据库循环迁移
• 轻量级集成：基于官方pgloader镜像，仅添加必要的模板和脚本，保持镜像精简

使用场景

• 数据库迁移项目：将MySQL数据库迁移至PostgreSQL环境
• 多数据库批量迁移：需要批量处理多个以db_为前缀的MySQL数据库
• 开发/测试环境数据同步：快速将MySQL测试数据迁移至PostgreSQL环境验证兼容性

使用方法

参数说明

entrypoint.sh支持以下参数（按顺序）：

基本使用示例

迁移单个数据库：

bash
docker run --rm chulinx/pgloader:v0.3 sh entrypoint.sh \
  db_operation \          # 数据库名称
  192.168.1.100 \        # MySQL IP
  192.168.1.200 \        # PostgreSQL IP
  3306 \                 # MySQL端口（可选，默认3306）
  54321                  # PostgreSQL端口（可选，默认54321）

批量迁移示例

使用migrate.sh脚本批量迁移多个数据库（需提前安装MySQL客户端和Kingbase客户端）：

bash
#!/bin/bash
mysql_ip=192.168.1.100       # MySQL服务器IP
pg_ip=192.168.1.200          # PostgreSQL服务器IP

# 循环处理所有以db_为前缀的MySQL数据库
for db_name in $(mysql -uroot -p"mysql_password" -h $mysql_ip -e "show databases" | grep "db_")
do
  # 检查目标PostgreSQL数据库是否存在，不存在则创建
  /opt/kingbase/ClientTools/bin/ksql -U system -d test -h $pg_ip -c "SELECT 1" >/dev/null 2>&1
  if [ $? -ne 0 ]; then
    /opt/kingbase/ClientTools/bin/ksql -U system -d test -h $pg_ip -c "create database $db_name"
  fi
  
  # 执行迁移
  docker run -i --rm chulinx/pgloader:v0.3 sh entrypoint.sh $db_name $mysql_ip $pg_ip
  sleep 5  # 迁移间隔
done

迁移配置说明

迁移模板mysql2pg.load.tmpl包含以下核心配置：

LOAD DATABASE
 FROM mysql://root:71400167127bc5dbece9563f559a616b@[mysql_ip]:[mysql_port]/[db_name]
 INTO pgsql://system:test@[pg_ip]:[pg_port]/[db_name]

 WITH include drop, create tables, create indexes, schema only, workers = 8, concurrency = 1

    CAST type datetime to timestamp drop default drop not null using zero-dates-to-null

ALTER SCHEMA 'taas_core' RENAME TO 'public';

• 源数据库连接：MySQL使用root用户，默认密码71400167127bc5dbece9563f559a616b
• 目标数据库连接：PostgreSQL使用system用户，默认密码test
• 迁移选项：
  • include drop：迁移前删除目标数据库对象
  • create tables：自动创建表结构
  • create indexes：自动创建索引
  • schema only：仅迁移 schema（不含数据）
  • workers = 8：8个工作线程
  • concurrency = 1：并发度1
• 数据类型转换：datetime类型转换为timestamp，删除默认值和非空约束，将零日期转换为null
• ** schema重命名**：将源库taas_core schema重命名为目标库public schema

注意事项

1. 模板中的数据库凭证（MySQL的root密码、PostgreSQL的system密码）为硬编码，实际实际使用时需根据环境修改模板或通过构建自定义镜像调整
2. 迁移前确保目标PostgreSQL数据库已创建（批量迁移脚本已包含自动创建逻辑）
3. 默认迁移模式为schema only（仅迁移结构），如需迁移数据需修改模板中的WITH选项
4. 端口替换逻辑：当指定非默认端口时，脚本会替换模板中的对应端口值，确保连接正确