itbm/postgresql-backup-s3

postgres-backup-s3

镜像概述和主要用途

用于在PostgreSQL数据库与S3存储之间进行备份和恢复操作，支持定期备份和加密功能。可通过环境变量配置实现灵活的备份策略，适用于需要将PostgreSQL数据安全存储到S3或从S3恢复的场景。

核心功能和特性

• 支持PostgreSQL数据库与S3之间的备份和恢复双向操作
• 可配置定期自动备份（通过SCHEDULE环境变量）
• 提供备份文件加密和解密功能（通过ENCRYPTION_PASSWORD）
• 支持两种备份格式：默认纯文本压缩格式和PostgreSQL自定义格式
• 允许自定义压缩/解压缩工具，提升性能（如使用pigz替代gzip）
• 可自动删除指定时间前的旧备份（通过DELETE_OLDER_THAN）
• 支持Kubernetes环境部署

使用场景和适用范围

• 需要定期备份PostgreSQL数据库到S3存储的场景
• 需要从S3存储恢复PostgreSQL数据库的场景
• Kubernetes集群中PostgreSQL数据库的备份管理
• 对备份文件有加密需求的敏感数据场景
• 大型数据库需要高效备份和恢复的场景（自定义格式）

详细使用方法和配置说明

基本用法

备份操作

sh
$ docker run -e S3_ACCESS_KEY_ID=密钥 -e S3_SECRET_ACCESS_KEY=密钥 -e S3_BUCKET=我的桶 -e S3_PREFIX=backup -e POSTGRES_DATABASE=数据库名 -e POSTGRES_USER=用户名 -e POSTGRES_PASSWORD=密码 -e POSTGRES_HOST=localhost itbm/postgres-backup-s3

恢复操作

sh
$ docker run -e S3_ACCESS_KEY_ID=密钥 -e S3_SECRET_ACCESS_KEY=密钥 -e S3_BUCKET=我的桶 -e BACKUP_FILE=backup/数据库名_0000-00-00T00:00:00Z.sql.gz -e POSTGRES_DATABASE=数据库名 -e POSTGRES_USER=用户名 -e POSTGRES_PASSWORD=密码 -e POSTGRES_HOST=localhost -e CREATE_DATABASE=yes itbm/postgres-backup-s3

注意：当提供BACKUP_FILE环境变量时，容器会自动执行恢复过程而非备份。

Kubernetes部署配置

yaml
apiVersion: v1
kind: Namespace
metadata:
  name: backup

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: postgresql
  namespace: backup
spec:
  selector:
    matchLabels:
      app: postgresql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: postgresql
    spec:
      containers:
      - name: postgresql
        image: itbm/postgresql-backup-s3
        imagePullPolicy: Always
        env:
        - name: POSTGRES_DATABASE
          value: ""
        - name: POSTGRES_HOST
          value: ""
        - name: POSTGRES_PORT
          value: ""
        - name: POSTGRES_PASSWORD
          value: ""
        - name: POSTGRES_USER
          value: ""
        - name: S3_ACCESS_KEY_ID
          value: ""
        - name: S3_SECRET_ACCESS_KEY
          value: ""
        - name: S3_BUCKET
          value: ""
        - name: S3_ENDPOINT
          value: ""
        - name: S3_PREFIX
          value: ""
        - name: SCHEDULE
          value: ""

环境变量说明

自动定期备份

通过设置SCHEDULE环境变量可实现自动定期备份，例如-e SCHEDULE="@daily"表示每日执行备份。调度格式详情可参考此处。

删除旧备份

设置DELETE_OLDER_THAN环境变量可自动删除旧备份，例如-e DELETE_OLDER_THAN="30 days ago"表示删除30天前的备份。

警告：此操作会删除S3_PREFIX路径下的所有文件，不仅限于此脚本创建的备份文件。

备份加密

设置ENCRYPTION_PASSWORD环境变量（如-e ENCRYPTION_PASSWORD="超强密码"）可对备份文件加密。恢复时，若正确设置该变量，会自动检测并解密加密备份。也可手动解密：openssl aes-256-cbc -d -in backup.sql.gz.enc -out backup.sql.gz。

备份格式和压缩选项

1. 纯文本压缩格式（默认）

• 使用纯SQL文本输出，通过gzip/pigz压缩
• 兼容性好，支持标准SQL恢复

2. PostgreSQL自定义格式

• 通过-e USE_CUSTOM_FORMAT=yes启用
• 相比纯文本格式速度更快，备份文件更小（内置压缩）
• 支持并行恢复，可选择性恢复表/模式
• 推荐用于大型数据库
• 注意：当POSTGRES_DATABASE=all时不支持此格式（pg_dumpall不支持）

压缩工具优化

纯文本格式默认使用gzip压缩，多核心系统可使用pigz（并行gzip）提升性能：

sh
# 备份时使用pigz压缩
$ docker run ... -e COMPRESSION_CMD=pigz ... itbm/postgres-backup-s3

# 恢复时使用pigz解压缩
$ docker run ... -e DECOMPRESSION_CMD="pigz -dc" ... itbm/postgres-backup-s3

自定义格式与并行恢复

sh
# 使用自定义格式备份
$ docker run ... -e USE_CUSTOM_FORMAT=yes ... itbm/postgres-backup-s3

# 使用自定义格式并行恢复（4个并行任务）
$ docker run ... -e PARALLEL_JOBS=4 -e BACKUP_FILE=backup/dbname_0000-00-00T00:00:00Z.dump ... itbm/postgres-backup-s3