dimitri/pgloader

pgloader 镜像文档

概述

pgloader是一个用于PostgreSQL的数据加载工具，基于COPY命令实现。与直接使用COPY/\copy或外部数据包装器相比，其主要优势在于事务处理机制：当加载数据时，pgloader会将错误数据单独记录到文件中，同时继续加载正确数据，避免因单条错误数据导致整个批量加载失败。此外，pgloader还支持数据格式化转换，例如将MySQL中的0000-00-00或0000-00-00 00:00:00时间戳转换为PostgreSQL的NULL值。

核心功能与特性

• 事务处理优化：错误数据单独记录，不中断整体加载过程，解决PostgreSQL默认事务中单个错误导致整个批量加载失败的问题。
• 数据格式化转换：支持多种数据格式转换，如MySQL时间戳到PostgreSQL NULL的转换。
• 多数据源支持：可从多种数据源（如MySQL）迁移数据，包括模式定义（表、索引、外键、注释）和并行数据加载。
• 灵活使用方式：支持通过命令文件或命令行直接运行。

使用场景

• 从MySQL等数据库迁移数据到PostgreSQL。
• 需要处理包含错误数据的批量数据加载任务。
• 对数据格式有转换需求的PostgreSQL数据导入场景。

使用方法

基本命令

获取帮助信息：

bash
docker run --rm -it dimitri/pgloader:latest pgloader --help

查看版本信息：

bash
docker run --rm -it dimitri/pgloader:latest pgloader --version

从MySQL迁移到PostgreSQL

完整迁移示例（包括模式定义和并行数据加载）：

bash
docker run --rm -it dimitri/pgloader:latest \
  pgloader \
    mysql://root:$MYSQL_ROOT_PASSWORD@172.17.0.2/dbname \
    pgsql://postgres:$POSTGRES_PASSWORD@172.17.0.3/dbname

其中，$MYSQL_ROOT_PASSWORD为MySQL root用户密码，172.17.0.2为MySQL容器IP，dbname为要迁移的数据库名；$POSTGRES_PASSWORD为PostgreSQL用户密码，172.17.0.3为PostgreSQL容器IP。

使用Clozure-CL构建版本

对于某些场景，使用基于Clozure-CL而非SBCL构建的pgloader版本可能更优，可通过以下命令使用：

bash
docker run --rm -it dimitri/pgloader:ccl.latest pgloader --version

许可证

pgloader基于PostgreSQL许可证开源。