hudusoftware/doubletake

HuduSoftware - Doubletake

v 1.20.0

镜像概述

Doubletake是一款简单易用的PostgreSQL数据库备份工具，支持按计划将数据库备份到S3兼容存储，并能从S3存储恢复数据。它主要实现两项核心功能：按cron计划自动执行PostgreSQL数据库的转储、验证、加密和压缩；以及从S3下载备份文件，执行解压缩、解密、验证后恢复到PostgreSQL数据库。

核心功能与特性

• 自动化备份：通过cron计划任务定期执行数据库备份
• 数据安全：支持备份文件加密（需配置加密密钥和向量）
• 完整性验证：使用BLAKE2算法验证备份文件完整性
• 灵活压缩：可配置是否对备份文件进行压缩及压缩级别
• S3兼容：支持任何S3兼容存储提供商（AWS S3、Wasabi、DigitalOcean等）
• 生命周期管理：可选自动添加S3对象标签（daily/weekly/monthly），便于生命周期策略管理
• 手动操作：支持手动触发备份、恢复、下载和上传操作

环境要求

1. 已安装Docker
2. 具有访问密钥（Access Key和Access Key ID）的S3存储，且有足够存储空间
3. PostgreSQL数据库（12.2-17.2版本已测试可用）

注意事项

• 对于PostgreSQL 16+版本，建议使用Alpine分支
• DB_PASSWORD和DB_BACKUP_RETENTION参数已弃用（当前版本）

配置说明

需通过Docker的-e参数、docker-compose的environment配置或环境变量文件设置以下参数。目前设计用于采用"trust"认证模式的数据库，若使用其他认证模式，可通过DB_PASSWORD或Docker Secret配置密码。

环境变量配置

yaml
environment:
    - S3_HOST_BASE=s3.amazonaws.com  # S3存储主机地址
    - S3_REGION=us-east-2  # S3区域
    - S3_BUCKET=yourbucketname  # S3桶名称（仅允许小写字母、数字、连字符和句点）
    - S3_FOLDER=subfoldername  # S3桶内子文件夹名称
    - S3_ACCESS_KEY_ID=youraccesskey  # S3访问密钥ID
    - S3_SECRET_ACCESS_KEY=yoursecretkey  # S3秘密访问密钥
    - CRON_SCHEDULE='0 */6 * * *'  # 可选，默认每6小时执行一次
    - DB_BACKUP_VERIFY=1  # 可选，默认1（启用备份验证）
    - DB_BACKUP_COMPRESS=0  # 可选，默认0（禁用压缩）
    - DB_BACKUP_COMPRESS_LEVEL=  # 可选，压缩级别（默认4）
    - DB_USER=postgres  # 数据库用户名
    - DB_NAME=hudu_production  # 数据库名称
    - DB_HOST=db  # 数据库主机地址（localhost、unix socket、tcp socket或远程主机等）
    - DB_BACKUP_ENCRYPT_KEY=dddddddddddeeeeeeeeeaaaaaaaaddddddddbbbbbbbbeeeeeeeeeeffffffffff  # 可选，加密密钥（需使用openssl rand -hex 32生成）
    - DB_BACKUP_ENCRYPT_IV=dddddeeeeeaaaaadddddbbbbeeeeffff  # 可选，加密向量（需使用openssl rand -hex 16生成）
    - NO_ENCRYPT=0  # 可选，默认0（不禁用加密，若设为1则不解密现有文件但新备份不加密）
    - S3_REQUEST_HEADERS="x-amz-object-lock-retain-until-date:2027-12-31T00:00:00Z\x-amz-object-lock-mode:GOVERNANCE"  # 可选，自定义S3请求头
    - S3_MD5_REQUIRED=  # 可选，默认0（启用后为S3提供文件版本和验证信息，版本化或文件锁定的桶需设为1）
    - PG_DUMP_USER_ARGS=  # 可选，自定义pg_dump参数（特殊场景使用）
    - AUTO_LIFECYCLE_POLICY_TAGS=0  # 可选，默认0（禁用自动生命周期标签，设为1则添加daily/weekly/monthly标签）

关键参数补充说明

CRON_SCHEDULE

• 在docker-compose的environment部分需用单引号'包裹，如'0 */6 * * *'
• 在.env文件中可使用单引号或不使用引号，如CRON_SCHEDULE=0 */6 * * *或CRON_SCHEDULE='0 */6 * * *'

S3_REQUEST_HEADERS

• 无论在docker-compose的environment还是env_file中，均需用双引号"包裹
• 多个请求头之间用\\（两个反斜杠）分隔，格式为"key:value\\key:value\\key:value"
• 示例：S3_REQUEST_HEADERS="x-amz-object-lock-retain-until-date:2027-12-31T00:00:00Z\\x-amz-object-lock-mode:GOVERNANCE"
• 留空则不添加自定义请求头

AUTO_LIFECYCLE_POLICY_TAGS

• 设为1时启用（默认0），上传备份文件时会添加X-AMZ-TAG标签（daily/weekly/monthly）
• 注意：需确保S3提供商支持X-AMZ-TAG标签功能
• 可与AWS生命周期策略配合使用，或用于自定义生命周期管理方案

S3_MD5_REQUIRED

• 默认0，对于启用版本控制的S3桶（如AWS S3）或启用文件锁定的桶，必须设为1
• 容器内部使用BLAKE2算法进行文件验证，此参数用于向S3提供商提供文件版本和验证信息
• 若启用文件锁定，务必设为1

DB_BACKUP_VERIFY

• 可选参数，默认null（关闭），启用后使用BLAKE2算法（优于sha256或md5）在恢复前验证文件完整性

DB_BACKUP_ENCRYPT_KEY和DB_BACKUP_ENCRYPT_IV

• 可选参数，默认空（关闭加密），用于配置是否对文件进行哈希计算以确保完整性
• 文件完整性检查机制：备份/上传时计算备份文件的BLAKE2哈希值和字节大小，生成元数据文件并上传至S3；恢复/下载时下载元数据文件，验证文件是否与原始计算一致

S3_HOST_BASE（多提供商支持）

• 支持多S3提供商，常见配置如下：
  • AWS：S3_HOST_BASE=s3.amazonaws.com
  • Wasabi：S3_HOST_BASE=s3.wasabisys.com
  • DigitalOcean：S3_HOST_BASE=nyc3.digitaloceanspaces.com

手动操作指南

手动备份

使用Docker Compose：

bash
$ docker-compose exec -T backups /bin/bash -c "/backup.sh"

使用Docker：

bash
$ docker exec -it {container_id} /bin/bash -c "/backup.sh"

预期输出：

appending folder s3://examplepgbackups/yourfolder
s3://examplepgbackups/yourfolder/backup.sql
s3://examplepgbackups/yourfolder/backup.meta
upload: '/dump/backup.meta' -> 's3://examplepgbackups/yourfolder/backup.meta' (147 bytes in 0.4 seconds, 338.52 B/s) [1 of 1]
calculated metadata uploaded to s3://examplepgbackups/yourfolder/backup.meta
compressed backup file to /dump/backup.sql.xz
upload: '/dump/backup.sql.xz' -> 's3://examplepgbackups/yourfolder/backup.sql.xz' (58552 bytes in 0.7 seconds, 84.10 KB/s) [1 of 1]
compressed backup uploaded to s3://examplepgbackups/yourfolder/backup.sql.xz
Upload successful.

手动恢复

使用Docker Compose：

bash
$ docker-compose exec -T backups /bin/bash -c "/restore.sh"

使用Docker：

bash
$ docker exec -it {container_id} /bin/bash -c "/restore.sh"

预期输出：

appending folder s3://examplepgbackups/yourfolder
s3://examplepgbackups/yourfolder/backup.sql
s3://examplepgbackups/yourfolder/backup.meta
attempting download of s3://examplepgbackups/yourfolder/backup.sql.xz to /dump/restore.sql.xz...
download: 's3://examplepgbackups/yourfolder/backup.sql.xz' -> '/dump/restore.sql.xz' (58552 bytes in 0.2 seconds, 265.58 KB/s)
decompressing /dump/restore.sql.xz
decompressed backup file to /dump/restore.sql
download: 's3://examplepgbackups/yourfolder/backup.meta' -> '/dump/backup.meta' (147 bytes in 0.1 seconds, 1224.40 B/s)
metadata downloaded to /dump/backup.meta
Metadata is the same.
Metadata is identical.
Download successful.
(postgres restore jargon) 

查看日志文件内容

使用Docker Compose：

bash
$ docker-compose exec -T backups /bin/sh -c "cat /doubletake.log"

使用Docker：

bash
$ docker exec -it {container_id} /bin/sh -c "cat /doubletake.log"

手动下载/上传

如需获取特定备份文件（如修改列名后恢复），可通过以下命令下载或上传文件：

使用Docker Compose：

bash
# 下载
$ docker-compose exec -T backups /bin/bash -c "/download.sh"

# 上传
$ docker-compose exec -T backups /bin/bash -c "/upload.sh"

使用Docker：

bash
# 下载
$ docker exec -it {container_id} /bin/bash -c "/download.sh"

# 上传
$ docker exec -it {container_id} /bin/bash -c "/upload.sh"

多实例与安全建议

在多实例环境中使用时，建议为每个实例配置独立的S3文件夹访问策略，防止跨文件夹访问。可通过AWS CLI（或其他S3提供商的等效工具）或API动态创建/授予文件夹访问权限，并在实例销毁时及时撤销权限，确保数据安全。