mastersland/pgloader

pgloader 镜像文档

镜像概述和主要用途

本镜像是基于Alpine Linux构建的pgloader数据加载工具镜像。pgloader是一款功能强大的数据加载工具，由Dimitri Fontaine开发，本镜像基于其https://github.com/dimitri/pgloader%E6%9E%84%E5%BB%BA%EF%BC%8C%E6%9E%84%E5%BB%BA%E4%BB%93%E5%BA%93%E5%9C%B0%E5%9D%80%E4%B8%BAhttps://bitbucket.org/mastersland/pgloader%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E4%B8%BB%E8%A6%81%E7%94%A8%E4%BA%8E%E5%9C%A8%E4%B8%8D%E5%90%8C%E6%95%B0%E6%8D%AE%E5%BA%93%E4%B9%8B%E9%97%B4%E8%BF%9B%E8%A1%8C%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB%E5%92%8C%E5%8A%A0%E8%BD%BD%E6%93%8D%E4%BD%9C%EF%BC%8C%E7%89%B9%E5%88%AB%E9%80%82%E7%94%A8%E4%BA%8E%E5%B0%86%E6%95%B0%E6%8D%AE%E5%AF%BC%E5%85%A5PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%E3%80%82

核心功能和特性

• 轻量级基础：基于Alpine Linux构建，镜像体积小，资源占用低
• 数据加载能力：支持从多种数据源（如MySQL、SQLite、CSV文件等）迁移数据至PostgreSQL
• 官方源代码构建：基于原始pgloader源代码构建，确保功能完整性和兼容性
• 便携性：通过Docker容器化，可在任何支持Docker的环境中快速部署和使用

使用场景和适用范围

• 数据库迁移：将数据从MySQL、SQLite等数据库迁移至PostgreSQL
• 批量数据导入：将CSV、JSON等格式的文件数据加载到PostgreSQL
• 数据同步任务：定期将外部数据源的数据同步到PostgreSQL数据库
• 开发测试环境：在开发或测试环境中快速部署pgloader工具进行数据操作

使用方法和配置说明

基本使用方法

通过以下命令可查看pgloader帮助信息：

bash
docker run --rm mastersland/pgloader pgloader --help

数据迁移示例

从MySQL迁移数据到PostgreSQL的基本命令格式：

bash
docker run --rm -v /path/to/your/load-script.load:/load-script.load mastersland/pgloader pgloader /load-script.load

其中load-script.load为pgloader配置文件，示例内容：

LOAD DATABASE
     FROM mysql://user:password@mysql-host/dbname
     INTO postgresql://user:password@postgres-host/dbname

 WITH include drop, create tables, create indexes, reset sequences

 SET work_mem to '16MB', maintenance_work_mem to '512MB';

从CSV文件导入数据示例

bash
docker run --rm -v /local/path/to/csv:/data mastersland/pgloader \
  pgloader --type csv --field-separator ',' \
  /data/input.csv postgresql://user:password@postgres-host/dbname?table=target_table

环境变量说明

目前该镜像未定义特定环境变量，所有配置通过pgloader命令行参数或配置文件指定。