bardiir/pgloader

镜像概述

本镜像基于 dimitri/pgloader 构建，是一款专注于PostgreSQL数据迁移的工具镜像。它在原版基础上优化了 DYNSIZE 参数至8192，并预装了 go（Go语言环境）、morph（数据迁移工具）和 dbcmp（数据库比较工具），适用于需要高效数据迁移及数据库对比分析的场景。

核心功能与特性

核心功能

• 数据迁移：支持从多种数据源（如MySQL、SQLite、CSV等）迁移数据至PostgreSQL，保持原版 pgloader 的全部迁移能力。
• 性能优化：默认将 DYNSIZE 设置为8192，提升数据加载过程中的内存分配效率，优化大规模数据迁移性能。
• 工具集成：预装以下工具，扩展功能场景：
  • go：提供Go语言运行环境，支持自定义Go脚本处理数据。
  • morph：轻量级数据迁移工具，支持数据库结构变更与数据同步。
  • dbcmp：数据库比较工具，可对比不同数据库的表结构、数据差异。

特性优势

• 开箱即用：无需额外安装依赖，预装工具满足数据迁移全流程需求。
• 性能调优：通过 DYNSIZE 参数优化，适应更大规模数据迁移场景。
• 功能扩展：集成多工具链，支持数据迁移、结构对比、自定义脚本处理等复合操作。

使用场景与适用范围

• 数据库迁移：从MySQL、SQLite等非PostgreSQL数据库迁移数据至PostgreSQL。
• 数据同步：通过 morph 实现PostgreSQL数据库间的结构同步与数据更新。
• 数据校验：使用 dbcmp 对比迁移前后的数据一致性，确保迁移准确性。
• 自定义数据处理：利用预装的 go 环境编写脚本，实现复杂数据转换逻辑。

使用方法与配置说明

基本使用（docker run）

1. 基本数据迁移示例

bash
docker run -it --rm \
  -v /path/to/your/pgloader-script.load:/script.load \
  your-image-name \
  pgloader /script.load

其中，/path/to/your/pgloader-script.load 为本地pgloader迁移脚本文件，内容示例：

LOAD DATABASE
  FROM mysql://user:password@mysql-host/dbname
  INTO postgresql://user:password@postgres-host/dbname;

2. 使用预装工具示例

运行 morph 进行数据迁移

bash
docker run -it --rm \
  -v /path/to/morph-config:/config \
  your-image-name \
  morph apply -f /config/morphfile

运行 dbcmp 对比数据库

bash
docker run -it --rm \
  your-image-name \
  dbcmp postgresql://user:password@db1-host/dbname postgresql://user:password@db2-host/dbname

运行Go脚本

bash
docker run -it --rm \
  -v /path/to/your/go-script.go:/script.go \
  your-image-name \
  go run /script.go

环境变量与配置

• DYNSIZE：已默认设置为8192，控制pgloader的动态内存分配大小，无需额外配置。如需调整，可通过 -e DYNSIZE=新值 覆盖。
• 其他pgloader参数：支持通过命令行参数或迁移脚本配置，具体参考 pgloader官方文档。

注意事项

• 确保宿主机与容器间的数据卷挂载正确，避免文件路径权限问题。
• 迁移前建议备份目标数据库，防止数据覆盖风险。
• 大规模数据迁移时，建议通过 --memory-limit 等参数限制容器资源使用，避免主机资源耗尽。