itbm/postgres-backup-s3

postgres-backup-s3

镜像概述和主要用途

postgres-backup-s3是一个用于在PostgreSQL数据库与Amazon S3（或S3兼容存储）之间进行备份和恢复的Docker镜像。它支持定期自动备份、数据加密、自定义备份格式及压缩等功能，适用于需要可靠数据库备份策略的场景。

核心功能和特性

• 支持PostgreSQL数据库的备份与恢复
• 定期自动备份（基于cron调度）
• 备份文件加密与解密
• 自定义备份格式（纯文本压缩或PostgreSQL自定义格式）
• 多线程压缩/解压缩支持
• 旧备份自动清理
• 兼容S3兼容存储（如MinIO）

使用场景和适用范围

• 小型到大型PostgreSQL数据库的日常备份
• 需要将数据库备份存储到云存储的场景
• 要求定期自动备份的业务系统
• 需要数据加密以满足安全合规的环境
• Kubernetes集群中的数据库备份部署

使用方法和配置说明

基本用法

备份

sh
$ docker run -e S3_ACCESS_KEY_ID=密钥 -e S3_SECRET_ACCESS_KEY=密钥 -e S3_BUCKET=我的存储桶 -e S3_PREFIX=备份 -e POSTGRES_DATABASE=数据库名 -e POSTGRES_USER=用户名 -e POSTGRES_PASSWORD=密码 -e POSTGRES_HOST=localhost itbm/postgres-backup-s3

恢复

sh
$ docker run -e S3_ACCESS_KEY_ID=密钥 -e S3_SECRET_ACCESS_KEY=密钥 -e S3_BUCKET=我的存储桶 -e BACKUP_FILE=备份/数据库名_0000-00-00T00:00:00Z.sql.gz -e POSTGRES_DATABASE=数据库名 -e POSTGRES_USER=用户名 -e POSTGRES_PASSWORD=密码 -e POSTGRES_HOST=localhost -e CREATE_DATABASE=yes itbm/postgres-backup-s3

注意：当提供BACKUP_FILE环境变量时，容器会自动执行恢复过程而非备份。

Kubernetes部署

yaml
apiVersion: v1
kind: Namespace
metadata:
  name: backup

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgresql
  namespace: backup
spec:
  selector:
    matchLabels:
      app: postgresql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: postgresql
    spec:
      containers:
      - name: postgresql
        image: docker.xuanyuan.run/itbm/postgresql-backup-s3
        imagePullPolicy: Always
        env:
        - name: POSTGRES_DATABASE
          value: ""
        - name: POSTGRES_HOST
          value: ""
        - name: POSTGRES_PORT
          value: ""
        - name: POSTGRES_PASSWORD
          value: ""
        - name: POSTGRES_USER
          value: ""
        - name: S3_ACCESS_KEY_ID
          value: ""
        - name: S3_SECRET_ACCESS_KEY
          value: ""
        - name: S3_BUCKET
          value: ""
        - name: S3_ENDPOINT
          value: ""
        - name: S3_PREFIX
          value: ""
        - name: SCHEDULE
          value: ""

环境变量

自动定期备份

可通过设置SCHEDULE环境变量实现自动定期备份，例如-e SCHEDULE="@daily"。

调度相关更多信息可参考http://godoc.org/github.com/robfig/cron#hdr-Predefined_schedules。

删除旧备份

可通过设置DELETE_OLDER_THAN环境变量删除旧备份，例如-e DELETE_OLDER_THAN="30 days ago"。

警告：这将删除S3_PREFIX路径下的所有文件，不仅是本脚本创建的文件。

加密

可通过设置ENCRYPTION_PASSWORD环境变量加密备份，例如-e ENCRYPTION_PASSWORD="超级强密码"。恢复过程会在ENCRYPTION_PASSWORD环境变量正确设置时自动检测并解密加密备份。也可使用openssl aes-256-cbc -d -in backup.sql.gz.enc -out backup.sql.gz手动解密。

备份格式和压缩选项

有两种备份格式选项：

1. 带压缩的纯文本格式（默认）：

   • 使用纯SQL文本输出，通过gzip/pigz压缩
   • 标准且兼容性广泛

2. PostgreSQL自定义格式：

   • 通过-e USE_CUSTOM_FORMAT=yes启用
   • 比纯文本格式快得多
   • 生成更小的备份文件（内置压缩）
   • 支持并行恢复以提高恢复速度
   • 允许选择性表/模式恢复
   • 推荐用于大型数据库

对于纯文本格式，备份默认使用gzip压缩。为在多核系统上提高性能，可使用pigz（并行gzip）替代：

sh
$ docker run ... -e COMPRESSION_CMD=pigz ... itbm/postgres-backup-s3

$ docker run ... -e DECOMPRESSION_CMD="pigz -dc" ... itbm/postgres-backup-s3

使用自定义格式并进行并行恢复时：

sh
$ docker run ... -e USE_CUSTOM_FORMAT=yes ... itbm/postgres-backup-s3

$ docker run ... -e PARALLEL_JOBS=4 -e BACKUP_FILE=backup/dbname_0000-00-00T00:00:00Z.dump ... itbm/postgres-backup-s3

注意：当使用POSTGRES_DATABASE=all时，自定义格式不可用，因为pg_dumpall不支持此格式。