owanio1992/pgloader

pgloader Docker镜像文档

镜像概述

本镜像基于Ubuntu 20.04构建，包含pgloader工具。pgloader是一款功能强大的数据加载工具，主要用于将数据从多种数据源迁移至PostgreSQL数据库，支持如MySQL、SQLite、CSV文件、DBF文件等多种源数据格式。

核心功能与特性

• 基于Ubuntu 20.04稳定版本构建，环境可靠
• 集成官方pgloader工具，支持完整的数据迁移功能
• 支持多种数据源迁移至PostgreSQL，包括但不限于：
  • MySQL数据库
  • SQLite数据库
  • CSV/TSV文本文件
  • DBF文件
  • 其他PostgreSQL实例

使用场景

• 数据库迁移：将现有MySQL/SQLite等数据库迁移至PostgreSQL
• 数据导入：将CSV等文本数据批量导入PostgreSQL
• 跨数据库同步：实现不同数据库间的数据同步与转换

使用方法

基本使用

使用前建议参考pgloader官方文档：https://github.com/dimitri/pgloader

查看帮助信息

bash
docker run --rm [镜像名称] pgloader --help

执行数据迁移

基本迁移命令格式：

bash
docker run --rm -v /本地配置文件路径:/config [镜像名称] pgloader /config/迁移配置文件.load

示例：从MySQL迁移到PostgreSQL

1. 创建迁移配置文件mysql2pg.load：

LOAD DATABASE
     FROM mysql://user:password@mysql-host/dbname
     INTO postgresql://user:password@pg-host/dbname

 WITH include drop, create tables, create indexes, reset sequences

 SET work_mem to '16MB', maintenance_work_mem to '512MB';

2. 执行迁移命令：

bash
docker run --rm -v $(pwd):/config [镜像名称] pgloader /config/mysql2pg.load

示例：从CSV文件导入到PostgreSQL

创建配置文件csv2pg.load：

LOAD CSV
     FROM '/config/data.csv' (x, y, z)
     INTO postgresql://user:password@pg-host/dbname?table=table_name
    

执行导入命令：

bash
docker run --rm -v $(pwd):/config [镜像名称] pgloader /config/csv2pg.load

_desc 注意事项

• 确保源数据库和目标PostgreSQL数据库网络互通
• 迁移前建议备份目标数据库数据
• 配置文件 具体迁移配置配置项调整请参考pgloader官方文档中的语法说明。