micaelle/pgloader

pgloader

镜像概述和主要用途

pgloader是一个针对PostgreSQL的数据加载工具，利用PostgreSQL的COPY命令实现高效数据迁移。其核心优势在于独特的事务处理机制，能够在遇到错误数据时将其记录到单独文件，同时继续加载有效数据，避免传统COPY命令因单条错误数据导致整个批量加载失败的问题。此外，pgloader还支持数据格式化转换，例如将MySQL中的无效日期（如0000-00-00）转换为PostgreSQL的NULL值。

核心功能和特性

• 事务处理优化：错误数据单独记录，不中断整体加载过程
• 数据格式化：支持多种数据转换，如日期格式、类型映射等
• 多源支持：可从SQLite、MySQL等多种数据源迁移数据至PostgreSQL
• 高效性能：基于Common Lisp开发，支持多线程，运行效率高
• schema迁移：迁移MySQL时可同步表结构、索引、外键及注释

使用场景和适用范围

• 从SQLite、MySQL等数据库迁移数据至PostgreSQL
• 批量数据加载至PostgreSQL，需要处理可能存在的错误数据
• 需要对源数据进行格式转换以适应PostgreSQL数据类型的场景
• 数据库迁移项目中的数据迁移环节

使用方法和配置说明

Docker镜像安装与使用

拉取镜像

bash
docker pull dimitri/pgloader

查看版本和帮助

bash
# 查看版本
docker run --rm --name pgloader dimitri/pgloader:latest pgloader --version

# 查看帮助
docker run --rm --name pgloader dimitri/pgloader:latest pgloader --help

数据迁移示例

从SQLite迁移至PostgreSQL

1. 首先创建目标PostgreSQL数据库：

bash
createdb newdb

2. 执行迁移命令：

bash
docker run --rm --name pgloader dimitri/pgloader:latest pgloader ./test/sqlite/sqlite.db postgresql:///newdb

从MySQL迁移至PostgreSQL

1. 创建目标数据库：

bash
createdb pagila

2. 执行迁移（包含schema和数据）：

bash
docker run --rm --name pgloader dimitri/pgloader:latest pgloader mysql://user@localhost/sakila postgresql:///pagila

其他安装方式

除Docker外，还可通过以下方式安装：

• Debian/Ubuntu：apt-get install pgloader
• macOS（Homebrew）：brew install --HEAD pgloader
• 源码构建：需依赖SBCL或Clozure CL等Common Lisp环境，具体步骤参见官方文档

版本信息

当前稳定版本为3.x系列，基于Common Lisp开发。版本号遵循Emacs模型：

• 3.0.xxx：开发版本（alpha、beta或候选版本）
• 3.x.0（如3.1.0）：稳定版本
• 开发快照版本包含git哈希，如3.0.fecae2c

许可证

pgloader采用PostgreSQL许可证。