fridus/pgloader

Docker pgloader 镜像文档

镜像概述

Docker pgloader镜像基于pgloader工具构建，pgloader是一款强大的数据迁移工具，专注于将数据从多种数据源高效迁移到PostgreSQL数据库。该镜像提供了便捷的部署方式，无需手动安装依赖，可直接通过Docker快速使用pgloader的全部功能。

可用标签

• latest: 最新稳定版本
• v3.6.10: 特定版本v3.6.10

核心功能与特性

• 多源支持：支持从MySQL、SQLite、CSV文件、固定宽度文件、DBase等多种数据源迁移数据
• 自动化迁移：自动处理数据类型转换、表结构创建、索引迁移等任务
• 高效性能：采用并行加载机制，优化数据迁移速度
• 命令行工具：提供丰富的命令行参数，支持灵活配置迁移任务
• 配置文件支持：可通过配置文件定义复杂的迁移规则和转换逻辑

使用场景

• 从其他数据库（如MySQL）迁移至PostgreSQL
• 将CSV/Excel等文件数据导入PostgreSQL
• 数据库升级或迁移时的数据迁移任务
• 跨环境（开发/测试/生产）的数据同步

使用方法

1. 拉取镜像

bash
docker pull fridus/pgloader

2. 查看帮助信息

bash
docker run --rm -it fridus/pgloader pgloader --help

3. 基本迁移示例

从MySQL迁移到PostgreSQL

bash
docker run --rm -it fridus/pgloader \
  pgloader mysql://user:password@mysql-host/dbname \
  postgresql://user:password@postgres-host/dbname

从SQLite文件迁移

bash
# 首先将SQLite文件挂载到容器中
docker run --rm -it -v /local/path/to/db.sqlite:/data/db.sqlite fridus/pgloader \
  pgloader sqlite:///data/db.sqlite \
  postgresql://user:password@postgres-host/dbname

从CSV文件迁移

bash
# 挂载CSV文件到容器
docker run --rm -it -v /local/path/to/data.csv:/data/data.csv fridus/pgloader \
  pgloader --type csv --field-separator ',' --with-header /data/data.csv \
  postgresql://user:password@postgres-host/dbname?tablename=target_table

配置说明

pgloader支持通过命令行参数或配置文件进行详细配置。常用参数包括：

• --type: 指定源数据类型（如csv、mysql、sqlite等）
• --field-separator: CSV文件的字段分隔符
• --with-header: 指示CSV文件包含表头
• --cast: 自定义数据类型转换规则
• --dry-run: 模拟迁移过程，不实际执行数据写入

详细配置选项可参考官方文档：pgloader文档