jtackaberry/do-snapshot

DigitalOcean Droplet 快照工具

do-snapshot.py 是一个简单的 Python 脚本，用于对 DigitalOcean Droplets 进行快照、传输到指定区域，并维护灵活的保留策略。

示例

以下是使用示例：

bash
python3 do-snapshot.py --token ~/.dotoken -s 1d -r lon1 -k 3d:1d -k 1w:1w -k 1m:2m -k 0d:6m

或使用 Docker 镜像：

bash
docker run -e DO_TOKEN=$(cat ~/.dotoken) jtackaberry/do-snapshot -s 1d -r lon1 -k 3d:1d -k 1w:1w -k 1m:2m -k 0d:6m

上述命令将：

• 从 ~/.dotoken 文件读取 API 令牌
• 每天对所有标记为 autosnapshot（默认标记）的 Droplet 进行一次快照
• 将工具创建的所有快照传输到 lon1 区域（如果尚未存在）
• 应用以下保留策略：
  • 对超过 1 天的快照，每 3 天保留一个
  • 对超过 1 周的快照，每周保留一个
  • 对超过 1 个月的快照，每月保留一个
  • 删除所有超过 6 个月的快照

注意事项

由于 DigitalOcean API 限制：

1. 进行中的快照不可见，因此如果频繁运行工具，可能会在快照 pending 时触发另一个快照。解决方法：运行间隔不小于 1 小时。
2. 只有完成的快照才能跨区域传输，因此如果某次调用创建了快照，传输步骤将在下次调用时执行。解决方法：运行频率高于快照间隔（例如，若设置 -s 1d，可每 4 小时运行一次，同时注意事项 1）。

工具自身限制：

• 目前仅支持在线快照

DigitalOcean API 令牌

首先，获取 个人访问令牌。

可通过命令行直接传递令牌，但这会导致令牌（相当于密码）出现在 ps 输出中。因此建议传递包含令牌的文件路径，或通过 DO_TOKEN 环境变量导出。

在类 Unix 系统中：

bash
export DO_TOKEN=<你的令牌>

在 Windows 系统中：

cmd
set DO_TOKEN=<你的令牌>

保留策略

可通过多个 -k 开关构建复杂的保留策略。策略按快照年龄从新到旧的顺序执行，这意味着较旧策略可处理的快照数量由较新策略决定。因此，通常需要随着年龄增加而增大时间间隔。

例如，考虑参数 -k 2w:1w -k 1w:1m，其要求：

1. 对超过 1 周的快照，每 2 周保留一个
2. 对超过 1 个月的快照，每周保留一个

由于策略 1 先执行，当快照超过 1 个月时，策略 2 只能看到每 2 周一个的快照，因此无法满足每周保留一个的要求。

模拟功能

可使用 --simulate 选项模拟保留策略的效果，该选项按指定间隔（如 4 小时）模拟工具执行，持续指定时长（如 3 个月）。

以下示例模拟上述问题策略：

$ python3 do-snapshot.py -s 1d -k 2w:1w -k 1w:1m --simulate 4h:3m
[... 日志输出省略 ...]
Time                    Name
----------------------- --------------------------------------------------
2018-10-09T01:47:36Z    simulated-autosnapshot-20181009T014736Z
2018-10-23T01:47:36Z    simulated-autosnapshot-20181023T014736Z
2018-11-06T01:47:36Z    simulated-autosnapshot-20181106T014736Z
2018-11-20T01:47:36Z    simulated-autosnapshot-20181120T014736Z
2018-12-04T01:47:36Z    simulated-autosnapshot-20181204T014736Z
2018-12-18T01:47:36Z    simulated-autosnapshot-20181218T014736Z
2018-12-31T01:47:36Z    simulated-autosnapshot-20181231T014736Z
2019-01-01T01:47:36Z    simulated-autosnapshot-20190101T014736Z
2019-01-02T01:47:36Z    simulated-autosnapshot-20190102T014736Z
2019-01-03T01:47:36Z    simulated-autosnapshot-20190103T014736Z
2019-01-04T01:47:36Z    simulated-autosnapshot-20190104T014736Z
2019-01-05T01:47:36Z    simulated-autosnapshot-20190105T014736Z
2019-01-06T01:47:36Z    simulated-autosnapshot-20190106T014736Z

上述示例中，工具每天创建一个快照（-s 1d），最年轻的策略在快照超过 1 周后生效，因此最近一周（1 月初）保留每日快照。12 月的快照每 2 周保留一个，而 11 月和 10 月的快照尽管策略要求每周保留一个，但实际只能每 2 周保留一个。

使用方法

usage: do-snapshot.py [-h] [-t TAG] [-p PREFIX] [-r REGION] -s AGE
                      [-k INTERVAL:AGE] [--dryrun] [--token TOKEN]
                      [--simulate INTERVAL:DURATION] [--syslog] [-v]

可选参数:
  -h, --help            显示帮助信息并退出
  -t TAG, --tag TAG     对带有指定标签的 Droplet 进行快照（默认：autosnapshot）
  -p PREFIX, --prefix PREFIX
                        快照名称前缀（默认：$droplet-autosnapshot-）
  -r REGION, --region REGION
                        将快照传输到额外的区域（支持多个 -r）
  -s AGE, --snapshot AGE
                        若上次快照超过指定时间则创建新快照（后缀 m=月, w=周, d=天, h=小时）
  -k INTERVAL:AGE, --keep INTERVAL:AGE
                        对超过指定时间的快照，每间隔指定时间保留一个，删除其他（支持多个 -k 构建保留策略）
  --dryrun              不实际执行快照、删除或传输操作
  --token TOKEN         API 令牌或包含令牌的文件路径（也可通过 DO_TOKEN 环境变量传递）
  --simulate INTERVAL:DURATION
                        通过按指定间隔运行工具持续指定时长来测试保留策略（隐含 --dryrun）
  --syslog              记录日志到 syslog 而非 stderr
  -v, --verbose         增加日志详细程度

do-snapshot.py 对所有带有指定标签（如 prod 或 autosnapshot）的 Droplet 生效，因此需先为目标 Droplet 应用合适的标签。

依赖

do-snapshot.py 经 Python 3 测试，兼容 Python 2。唯一依赖是 requests 库。在 Ubuntu 或 Debian 系统中，可通过以下命令安装：

bash
sudo apt install python3-requests

在其他系统或平台，若已安装 pip，可执行：

bash
pip install requests

Kubernetes

以下示例清单展示如何通过 Kubernetes CronJob 调度快照：

yaml
apiVersion: v1
kind: Namespace
metadata:
  name: digitalocean
---
apiVersion: v1
kind: Secret
metadata:
  name: do-api-token
  namespace: digitalocean
type: Opaque
data:
  # Base64 编码的 Digital Ocean API 令牌：
  # set +o history
  # echo -n 'apitokengoeshere' | base64 -w0
  # set -o history
  token: U29ycnksIG5vIEFQSSB0b2tlbiBzdHVwaWRseSBjb21taXR0ZWQgdG8gZ2l0IGZvdW5kIGhlcmUuIDopCg==
---
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: snapshot-droplets
  namespace: digitalocean
spec:
  schedule: "23 */2 * * *"
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 1
  failedJobsHistoryLimit: 1
  jobTemplate:
    spec:
      template:
        spec:
          # 若尚未配置限制 uid/gid 的 PodSecurityPolicy，应取消以下注释
          # securityContext:
          #   runAsUser: ***
          #   runAsGroup: ***        
          containers:
          - name: do-snapshot
            image: jtackaberry/do-snapshot:latest
            env:
              - name: DO_TOKEN
                valueFrom:
                  secretKeyRef:
                    name: do-api-token
                    key: token
            args:
              - -s 1d
              - -r lon1
              - -k 3d:1d
              - -k 2w:5d
              - -k 0d:3w
              - -v
          restartPolicy: Never