nordstromsets/backups

概述

这是一个Docker容器，用于将主机的数据备份到S3存储桶，并支持数据恢复操作。它通过配置文件定义备份内容、周期及恢复规则，适用于需要定期备份或手动备份主机文件和目录的场景。

备份主机

容器的备份服务依赖环境变量和配置文件工作。关键输入是一个JSON格式的配置文件，需存储在S3桶中，并通过CONFIGS_PATH环境变量指定其S3 URL（格式如s3://my-bucket/my-path/my-key）。

配置文件示例

配置文件定义了备份周期、待备份的文件和目录：

json
{
  "period-min": "60",
  "period-min-comment": "用period-min字段指定备份周期（分钟），例如60表示每小时备份一次",
  "files": {
    "server.xml": {
       "src":  "/var/local/myapp/WEB-INF/server.xml",  
       "dest": "s3://tts-sets-team/myapp/WEB-INF/server.xml"
    }
  },
  "directories": {
    "attachments": {
       "src":     "/var/local/myapp/attachments",  
       "dest":    "s3://tts-sets-team/myapp/attachments",
       "comment": "不删除备份文件夹中源目录已不存在的附件，以便恢复误删的文件"
    },
    "configs": {
       "src":     "/var/local/myapp/configs",  
       "dest":    "s3://tts-sets-team/myapp/configs",
       "options": "--delete",
       "comment": "设置--delete选项以保持源目录和目标S3路径完全同步"
    },
    "archives": {
       "src":     "/var/local/myapp/archives",  
       "dest":    "s3://tts-sets-team/myapp/archives",
       "options": "--delete --exclude \"*\" --include \"*.gz\"",
       "comment": "备份archives目录，但仅包含.gz扩展名的文件"
    }
  } 
}

备份顺序：先按配置文件中的顺序备份文件，再备份目录。目录备份使用aws s3 sync命令，options属性对应该命令的选项参数。

启动定期备份容器

以下命令创建名为backups的容器，按backups.json的配置定期执行备份：

bash
sudo docker run -d -e "CONFIGS_PATH=s3://tts-sets-team/myapp/backups.json" -e "HOSTNAME=myapp-dev" -v /var/local/myapp:/var/local/myapp:ro --name backups -it nordstromsets/backups:latest

执行即时备份

以下命令启动临时容器，立即执行一次备份后退出：

bash
sudo docker run -v /var/local/myapp:/var/local/myapp:ro -it nordstromsets/backups:latest python -m src.backup s3://tts-sets-team/myapp/backups.json myapp-dev -s

恢复主机

容器支持恢复已备份的文件和目录，需通过卷挂载访问目标恢复目录。

新主机恢复

对于未运行备份容器的新主机，执行以下命令恢复：

bash
sudo docker run -t nordstromsets/backups:latest python -m src.restore s3://tts-sets-team/myapp/backups.json myapp-dev

现有主机恢复所有数据

对于已运行备份容器的主机，执行以下命令恢复所有数据：

bash
sudo docker exec -it backups python -m src.restore s3://tts-sets-team/myapp/backups.json myapp-dev

选择性恢复

可指定配置文件中的键来恢复特定文件或目录。例如，恢复attachments目录和server.xml文件：

bash
sudo docker exec -t backups python -m src.restore s3://tts-sets-team/myapp/backups.json myapp-dev --dirs attachments --files server.xml

若需指定多个键，用逗号分隔：

bash
sudo docker exec -t backups python -m src.restore s3://tts-sets-team/myapp/backups.json myapp-dev --dirs attachments,configs --files server.xml,otherfile.txt

日志

备份任务日志存储在/var/local/backups/backup.log（按conf/logger.conf配置）。建议将日志转发至日志聚合工具，以便捕获和告警备份错误及异常。