dimitri/pgcopydb

pgcopydb

镜像概述和主要用途

pgcopydb是一款用于自动化在两个运行中的PostgreSQL服务器之间执行pg_dump | pg_restore操作的工具。它旨在解决原生pg_dump和pg_restore在并行处理时的限制（如目录格式需先写入本地文件），通过优化流程实现数据库的快速复制，支持并行数据传输和索引创建，显著提升复制效率。

核心功能和特性

1. 并行处理优化：支持并行复制表数据（--table-jobs）和创建索引（--index-jobs），大幅缩短复制时间
2. 分阶段数据迁移：
   • 生成pre-data和post-data转储部分（Postgres自定义格式）
   • 先恢复pre-data部分，在目标库创建所有对象
   • 按表数据量（基于pg_class.reltuples）排序，优先复制大数据量表
   • 数据复制完成后并行创建索引（含主键索引两步创建：先唯一索引，再主键约束，减少锁竞争）
   • 对每个表执行VACUUM ANALYZE优化
   • 处理post-data部分，自动过滤已创建的索引和主键约束
3. 智能任务管理：子进程共享post-data项的转储ID，主进程通过pg_restore --use-list过滤已创建对象，避免重复操作

使用场景和适用范围

• 快速复制PostgreSQL数据库到另一服务器
• 生产环境数据库迁移到新服务器
• 创建生产数据库副本用于测试或开发
• 需要最小化停机时间的数据库迁移场景
• 对复制效率有较高要求的大规模数据库复制

使用方法和配置说明

环境变量配置

基本命令

bash
# 配置源和目标数据库连接
export PGCOPYDB_SOURCE_PGURI="postgres://user@source.host/dbname"
export PGCOPYDB_TARGET_PGURI="postgres://role@target.host/dbname"

# 执行数据库复制（8个表并行，2个索引并行）
pgcopydb copy-db --table-jobs 8 --index-jobs 2

Docker部署示例

Dockerfile示例（扩展基础镜像）

dockerfile
FROM pgcopydb

USER root
RUN apt-get update \
  && apt-get install -y --no-install-recommends \
    ca-certificates \
    curl \
    git \
	&& rm -rf /var/lib/apt/lists/*

WORKDIR /usr/src/
RUN git clone --depth 1 https://github.com/devrimgunduz/pagila.git

WORKDIR /usr/src/pgcopydb
COPY ./copydb.sh copydb.sh

USER docker
CMD /usr/src/pgcopydb/copydb.sh

docker-compose配置示例

yaml
version: "3.9"
services:
  source:
    image: postgres:13-bullseye
    expose:
      - 5432
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: h4ckm3
      POSTGRES_HOST_AUTH_METHOD: trust
  target:
    image: postgres:13-bullseye
    expose:
      - 5432
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: h4ckm3
      POSTGRES_HOST_AUTH_METHOD: trust
  pgcopydb:
    build: .
    environment:
      PGCOPYDB_SOURCE_PGURI: postgres://postgres:h4ckm3@source/postgres
      PGCOPYDB_TARGET_PGURI: postgres://postgres:h4ckm3@target/postgres
      PGCOPYDB_TARGET_TABLE_JOBS: 4
      PGCOPYDB_TARGET_INDEX_JOBS: 2

作者

• https://github.com/dimitri

许可证

版权所有 (c) PostgreSQL全球开发组。

本项目基于PostgreSQL许可证授权，详情见LICENSE文件。

本项目包含第三方依赖，详情见NOTICE文件。