whiplash2486/pgloader

pgloader 数据库迁移工具镜像

概述

该镜像基于Ubuntu 22.04构建，集成pgloader、MySQL客户端、PostgreSQL客户端等工具，专门用于将数据从MySQL数据库迁移到PostgreSQL数据库。通过环境变量配置数据库连接信息，自动生成迁移配置并执行数据迁移，支持表结构创建、索引生成、数据批量迁移等功能。

核心功能与特性

• 基于pgloader实现MySQL到PostgreSQL的高效数据迁移
• 自动检查并创建目标PostgreSQL数据库（如不存在）
• 支持表结构创建、索引生成、序列重置
• 批量数据迁移，可配置预取行数和批处理大小
• 严格的环境变量检查，确保迁移前配置完整
• 包含错误处理机制，迁移过程中遇错即停

使用场景与适用范围

• 需要将MySQL数据库迁移至PostgreSQL的场景
• 系统架构升级中涉及数据库类型切换
• 数据备份与迁移需求，尤其是Zabbix等系统的数据库迁移
• 开发或测试环境中快速搭建数据迁移流程

使用方法与配置说明

环境变量配置

迁移过程需配置以下必要环境变量：

Docker部署示例

使用docker run命令

bash
docker run --rm \
    -e MYSQL_USER=zabbix \
    -e MYSQL_PASSWORD=zabbix_password \
    -e MYSQL_HOST=172.19.0.2 \
    -e MYSQL_PORT=3306 \
    -e MYSQL_DB=zabbix \
    -e POSTGRES_USER=postgres \
    -e POSTGRES_PASSWORD=postgres \
    -e POSTGRES_HOST=172.19.0.3 \
    -e POSTGRES_PORT=5432 \
    -e POSTGRES_DB=zabbix \
    --network=zabbix_pg_zabbix_network \
    pgloader

使用docker-compose配置

创建docker-compose.yml文件：

yaml
version: '3.3'

services:
  migration_tool:
    container_name: pgloader
    image: pgloader
    environment:
      MYSQL_USER: ansibleuser
      MYSQL_PASSWORD: ansiblepass
      MYSQL_HOST: 192.168.1.10
      MYSQL_PORT: 3308
      MYSQL_DB: zabbix
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_HOST: 192.168.1.10
      POSTGRES_PORT: 5432
      POSTGRES_DB: zabbix

启动服务：

bash
docker-compose up

迁移流程说明

1. 容器启动后，首先检查所有必要环境变量是否配置
2. 使用环境变量替换模板文件，生成pgloader配置文件
3. 检查目标PostgreSQL数据库是否存在，如不存在则创建
4. 执行pgloader命令开始数据迁移
5. 迁移完成后，容器保持运行状态（通过tail -f /dev/null）