blacklabelops/volumerize

Blacklabelops Volumerize

Blacklabelops是基于命令行工具Duplicity的Docker卷备份与恢复解决方案。通过容器化和参数化设计，简化了使用和配置流程。

重要提示：此工具并非可克隆和备份运行中数据库数据的向导工具。备份前应停止所有使用目标数据的容器，以避免意外的数据损坏。工具越简单，数据丢失风险也可能越高！请务必通过检查备份数据（如S3存储桶）验证工具是否正常工作，仔细核对配置，并启用镜像提供的检查选项（如以只读方式挂载卷）。

核心功能与特性

主要功能

• 多后端支持
• 定时备份调度
• 容器启停控制

支持的后端存储

• 文件系统
• Amazon S3
• DropBox
• Google Drive
• ssh/scp
• rsync

更多后端请参考：Duplicity支持的后端

支持渠道

在Hipchat上留言提问：blacklabelops/hipchat

卷备份教程

Docker卷备份教程：

• Backblaze B2：https://github.com/blacklabelops/volumerize/tree/master/backends/BackblazeB2
• Amazon S3：https://github.com/blacklabelops/volumerize/tree/master/backends/AmazonS3
• Dropbox：https://github.com/blacklabelops/volumerize/tree/master/backends/Dropbox
• Google Drive：https://github.com/blacklabelops/volumerize/tree/master/backends/GoogleDrive

快速使用

只需执行以下命令即可备份Docker应用卷：

bash
$ docker run -it --rm \
    --name volumerize \
    -v yourvolume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize backup

将名为yourvolume的卷挂载为源，并备份到backup_volume卷

工作原理

容器默认以守护模式启动，执行每日增量备份。通过在容器启动时定义环境变量（docker run）可实现特定行为。

应用数据必须存储在Docker卷中。可使用docker volume ls命令列出卷，通过-v选项将卷挂载到备份容器，并添加:ro选项将源设置为只读。

示例：使用Jenkins

bash
$ docker run \
     -d -p 80:8080 \
     --name jenkins \
     -v jenkins_volume:/jenkins \
     blacklabelops/jenkins

启动Jenkins并将数据存储在Docker卷jenkins_volume中。

将Jenkins数据挂载到容器内文件夹，并配置blacklabelops/volumerize将/source文件夹备份到/backup文件夹：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize

启动Volumerize。jenkins_volume卷在容器内对应/source文件夹，backup_volume卷对应/backup文件夹。

可在容器内执行命令，如立即备份或恢复：

bash
$ docker exec volumerize backup

触发备份操作。

备份多个卷

容器仅支持备份一个源文件夹（通过环境变量VOLUMERIZE_TARGET指定）。若需备份多个卷，需将多个卷挂载到同一源文件夹下。

示例：

• 卷：application_data
• 卷：application_database_data
• 卷：application_configuration

将这些卷挂载到同一source文件夹下启动容器：

bash
$ docker run -d \
    --name volumerize \
    -v application_data:/source/application_data:ro \
    -v application_database_data:/source/application_database_data:ro \
    -v application_configuration:/source/application_configuration:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize

对公共父文件夹/source执行Volumerize备份。

备份恢复

恢复操作简单：首先停止Volumerize容器，然后启动一个具有相同环境变量和卷但不使用只读模式的新容器！这是确保恢复目录结构与备份时一致的关键。

提示：恢复后，建议为备份容器重新添加只读选项！

示例：

原备份配置：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize

停止备份容器并执行恢复：

bash
$ docker stop volumerize
$ docker run --rm \
    -v jenkins_volume:/source \
    -v backup_volume:/backup:ro \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize restore
$ docker start volumerize

触发一次性恢复。执行恢复命令的容器在完成后会被删除。

干运行（Dry Run）

可在恢复命令中添加--dry-run参数测试恢复功能：

bash
$ docker run --rm \
    -v jenkins_volume:/source \
    -v backup_volume:/backup:ro \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize restore --dry-run

若需查看备份与源数据的差异，需使用verify命令：

bash
$ docker run --rm \
    -v jenkins_volume:/source \
    -v backup_volume:/backup:ro \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    blacklabelops/volumerize verify

定期备份

容器默认的定时任务设置为0 0 4 * * *（UTC时间凌晨4点）。可通过环境变量VOLUMERIZE_JOBBER_TIME设置自定义调度。

可通过环境变量TZ设置时区。

定时语法不同于标准cron，使用Jobber工具：http://dshearer.github.io/jobber/doc/v1.1/#/time-strings

示例：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "TZ=Europe/Berlin" \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "VOLUMERIZE_JOBBER_TIME=0 0 3 * * *" \
    blacklabelops/volumerize

按德国当地时间凌晨3点执行备份。

Docker容器重启

此镜像可在备份前后停止和启动Docker容器。通过环境变量VOLUMERIZE_CONTAINERS指定容器名称（空格分隔的列表）。

注意：需添加参数-v /var/run/docker.sock:/var/run/docker.sock以允许操作主机上的容器。

示例：

• Docker容器名称：application（应用）
• Docker容器名称：application_database（应用数据库）

bash
$ docker run -d \
    --name volumerize \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "VOLUMERIZE_CONTAINERS=application application_database" \
    blacklabelops/volumerize

以下脚本将应用此启动流程：backup、backupFull、restore和periodBackup。

测试流程：

bash
$ docker exec volumerize backup

警告：确保容器使用正确的重启策略。Docker、Docker-Compose、Docker-Swarm、Kubernetes和Cattle等工具可能在Volumerize停止容器后自动重启。对运行中的实例执行备份可能导致备份损坏甚至数据损坏。务必确保docker stop命令能真正停止实例，且底层部署技术不会自动重启容器。可通过执行docker stop后运行docker ps检查容器是否确实已停止。

Duplicity参数

blacklabelops/volumerize底层使用duplicity。参考duplicity命令行选项：Duplicity CLI选项

可通过环境变量VOLUMERIZE_DUPLICITY_OPTIONS传递duplicity选项，这些选项将应用于所有blacklabelops/volumerize命令和脚本。例如，--dry-run选项将使整个容器进入模拟模式，所有duplicity命令仅执行模拟操作。

示例：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "VOLUMERIZE_DUPLICITY_OPTIONS=--dry-run" \
    blacklabelops/volumerize

仅在干运行模拟模式下操作。

对称备份加密

可通过环境变量PASSPHRASE设置安全密码对备份进行加密。

生成安全密码：

bash
$ docker run --rm blacklabelops/volumerize openssl rand 128 -base64

在控制台输出合适的密码。

示例：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "PASSPHRASE=Jzwv1V83LHwtsbulVS7mMyijStBAs7Qr/V2MjuYtKg4KQVadRM" \
    blacklabelops/volumerize

功能与上述相同，但所有备份均会加密。

非对称密钥备份加密

可使用安全密钥对备份进行加密。

需准备：

• 密钥，通过环境变量VOLUMERIZE_GPG_PRIVATE_KEY指定
• 密钥密码，通过环境变量PASSPHRASE指定

生成密钥：在计算机上安装gpg，执行：

bash
$ gpg2 --full-gen-key
Please select what kind of key you want:
   (1) RSA and RSA (default)
   (2) DSA and Elgamal
   (3) DSA (sign only)
   (4) RSA (sign only)
Your selection? 1
RSA keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048)
Requested keysize is 2048 bits   
Please specify how long the key should be valid.
         0 = key does not expire
      <n>  = key expires in n days
      <n>w = key expires in n weeks
      <n>m = key expires in n months
      <n>y = key expires in n years
Key is valid for? (0)
Key does not expire at all
Is this correct? (y/N) y

GnuPG needs to construct a user ID to identify your key.

Real name: YourName
Email address: yourname@youremail.com
Comment:                            
You selected this USER-ID:
    "YourName <yourname@youremail.com>"

Change (N)ame, (C)omment, (E)mail or (O)kay/(Q)uit? O
$ gpg2 --export-secret-keys --armor yourname@youremail.com > MyKey.asc

注意：当前镜像仅支持无密码的密钥。导入流程存在问题，若密钥有密码会提示输入。

示例：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -v $(pwd)/MyKey.asc:/key/MyKey.asc \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "VOLUMERIZE_GPG_PRIVATE_KEY=/key/MyKey.asc" \
    -e "PASSPHRASE=" \
    blacklabelops/volumerize

导入无密码的密钥。

测试流程：

bash
$ docker exec volumerize backup

定期强制全量备份

默认行为：初始备份为全量备份，后续执行增量备份。可通过环境变量VOLUMERIZE_FULL_IF_OLDER_THAN定期强制全量备份。

格式：数字后接s（秒）、m（分）、h（时）、D（天）、W（周）、M（月）或Y（年）。

示例：

• 3天后：3D
• 1个月后：1m
• 55分钟后：55m

Volumerize示例：

bash
$ docker run -d \
    --name volumerize \
    -v jenkins_volume:/source:ro \
    -v backup_volume:/backup \
    -v cache_volume:/volumerize-cache \
    -e "TZ=Europe/Berlin" \
    -e "VOLUMERIZE_SOURCE=/source" \
    -e "VOLUMERIZE_TARGET=file:///backup" \
    -e "VOLUMERIZE_FULL_IF_OLDER_THAN=7D" \
    blacklabelops/volumerize

每7天强制执行一次全量备份。

容器脚本

容器启动时会创建一些便捷脚本：

示例：在运行中的容器内触发脚本

bash
$ docker exec volumerize backup

在名为volumerize的容器内执行backup脚本。

传递脚本参数：

blacklabelops/volumerize底层使用duplicity，参考duplicity命令行选项：Duplicity CLI选项

示例：

bash
$ docker exec volumerize backup --dry-run

--dry-run将模拟备份过程，不实际