codestation/go-s3-backup

Go S3 Backup

该应用用于对多种应用进行定期备份并从S3恢复，默认执行每日备份，可通过配置调整备份频率和策略。

核心功能与特性

支持的服务

• PostgreSQL
• MySQL/MariaDB
• Gitea
• Tarball（文件目录备份）
• Consul

支持的存储

• S3兼容对象存储
• 文件系统（本地存储）

定时任务

支持对备份和恢复操作配置定时任务，可用于定期测试备份有效性，确保数据可恢复性。

使用场景

适用于需要定期备份关键服务数据（如数据库、应用数据）并存储到S3或本地的场景，尤其适合中小规模部署的服务数据保护需求。

环境变量配置

全局配置

• CONFIG: 从yaml文件加载配置（替代环境变量配置）

备份/恢复通用配置

• SAVE_DIR: 临时备份文件存储目录
• SCHEDULE_RANDOM_DELAY: 任务启动前最大随机延迟秒数（默认无延迟）
• SCHEDULE: 任务执行时间规则，备份默认@daily，恢复默认none。支持cron格式（如0 0 * * *），设为none时仅执行一次任务

备份专用配置

• MAX_BACKUPS: 存储中保留的最大备份数量

恢复专用配置

• RESTORE_FILE: 指定恢复文件名（替代自动选择最新备份），仅用于restore命令

Gitea配置

• GITEA_CONFIG: Gitea配置文件自定义路径
• GITEA_DATA: Gitea数据目录路径

数据库通用配置

• DATABASE_HOST: 数据库主机地址
• DATABASE_PORT: 数据库端口
• DATABASE_NAME: 数据库名称
• DATABASE_USER: 数据库用户名
• DATABASE_PASSWORD: 数据库密码
• DATABASE_PASSWORD_FILE: 数据库密码文件路径（优先级高于DATABASE_PASSWORD）
• DATABASE_OPTIONS: 备份/恢复命令自定义选项
• DATABASE_COMPRESS: 是否使用gzip压缩SQL文件（布尔值）
• DATABASE_IGNORE_EXIT_CODE: 是否忽略恢复操作的非零退出码（布尔值）

PostgreSQL配置

• POSTGRES_CUSTOM_FORMAT: 使用PostgreSQL自定义转储格式（替代纯文本）

Tarball配置

• TARBALL_PATH_SOURCE: 待备份/恢复的目录路径
• TARBALL_NAME_PREFIX: 生成的tarball文件前缀（未设置时使用目录名）
• TARBALL_COMPRESS: 是否使用gzip压缩tarball（布尔值）

S3存储配置

• S3_ENDPOINT: S3服务端点URL（如https://nyc3.digitaloceanspaces.com）
• S3_REGION: 存储桶所在区域（如us-east-1）
• S3_BUCKET: 存储桶名称（如backups）
• S3_PREFIX: 存储路径前缀（如private/files）
• S3_FORCE_PATH_STYLE: 使用路径样式访问（MinIO需设为1）
• S3_KEEP_FILE: 上传后保留本地临时文件（布尔值）

S3凭证配置

通过以下环境变量提供凭证：

• AWS_ACCESS_KEY_ID/AWS_ACCESS_KEY: AWS访问密钥
• AWS_SECRET_ACCESS_KEY/AWS_SECRET_KEY: AWS密钥
• AWS_SESSION_TOKEN: 可选会话令牌

或通过凭证文件：

• AWS_SHARED_CREDENTIALS_FILE: 凭证文件路径（默认~/.aws/credentials）

凭证文件格式：

ini
[default]
aws_access_key_id = YOUR_AWS_ACCESS_KEY_ID
aws_secret_access_key = YOUR_AWS_SECRET_ACCESS_KEY

使用示例

基本备份命令（每日备份PostgreSQL到S3）

bash
docker run -e SCHEDULE="@daily" \
  -e DATABASE_HOST=postgres \
  -e DATABASE_USER=backupuser \
  -e DATABASE_PASSWORD=secret \
  -e DATABASE_NAME=mydb \
  -e S3_ENDPOINT=https://s3.example.com \
  -e S3_REGION=us-west-2 \
  -e S3_BUCKET=my-backups \
  -e AWS_ACCESS_KEY_ID=AKIAEXAMPLE \
  -e AWS_SECRET_ACCESS_KEY=secretkey \
  go-s3-backup backup postgres

单次恢复命令（从指定文件恢复MySQL）

bash
docker run -e RESTORE_FILE=mysql_backup_20231001.sql.gz \
  -e DATABASE_HOST=mysql \
  -e DATABASE_USER=restoreuser \
  -e DATABASE_PASSWORD=secret \
  -e DATABASE_NAME=mydb \
  -e S3_ENDPOINT=[***] \
  -e S3_BUCKET=my-backups \
  -e AWS_ACCESS_KEY_ID=AKIAEXAMPLE \
  -e AWS_SECRET_ACCESS_KEY=secretkey \
  go-s3-backup restore mysql