aptrust/glacier_restorer

Glacier to S3 复制工作器镜像

镜像概述

本镜像提供一个自动化工作器，专门用于在包或文件恢复流程前，将存储在Amazon Glacier归档存储中的文件复制到Amazon S3标准存储或其他可直接访问的S3存储类别。通过该工作器，可以简化从Glacier恢复数据的前置流程，确保恢复操作能够基于S3中的可用数据顺利执行。

核心功能与特性

• Glacier到S3复制：自动识别并复制Glacier存储类别中的文件至指定S3桶
• 前置恢复准备：为后续的包/文件恢复操作提供数据前置处理
• S3 API集成：通过AWS SDK与S3服务原生集成，确保数据传输可靠性
• 批量处理支持：支持多文件批量复制，提高大规模数据迁移效率
• 状态跟踪：记录复制进度及状态，便于监控和问题排查

使用场景与适用范围

• 数据恢复前置处理：在执行正式的文件/包恢复前，将Glacier中的归档数据迁移至S3
• 归档数据访问准备：需要访问长期归档在Glacier中的数据时，通过本工作器将数据迁移至S3以降低访问延迟
• 备份恢复流程：作为备份恢复流程的前置步骤，确保恢复源数据已在S3中可用
• 云存储数据迁移：需要将数据从Glacier存储类别迁移至其他S3存储类别的场景

使用方法与配置说明

前提条件

• 已配置AWS访问凭证（Access Key ID和Secret Access Key），且具有访问Glacier和S3的权限
• 目标S3桶已存在且配置正确的访问权限

环境变量配置

Docker Run示例

bash
docker run -d \
  -e AWS_ACCESS_KEY_ID="your-access-key" \
  -e AWS_SECRET_ACCESS_KEY="your-secret-key" \
  -e AWS_REGION="us-east-1" \
  -e GLACIER_VAULT_NAME="my-glacier-vault" \
  -e S3_DESTINATION_BUCKET="my-restore-bucket" \
  -e S3_DESTINATION_PREFIX="restored-files/" \
  -e CONCURRENCY=10 \
  --name glacier-to-s3-worker \
  [镜像名称]:[标签]

Docker Compose示例

yaml
version: '3'
services:
  glacier-worker:
    image: [镜像名称]:[标签]
    environment:
      - AWS_ACCESS_KEY_ID=your-access-key
      - AWS_SECRET_ACCESS_KEY=your-secret-key
      - AWS_REGION=us-east-1
      - GLACIER_VAULT_NAME=my-glacier-vault
      - S3_DESTINATION_BUCKET=my-restore-bucket
      - S3_DESTINATION_PREFIX=restored-files/
      - CONCURRENCY=8
      - LOG_LEVEL=INFO
    restart: unless-stopped

工作流程说明

1. 容器启动后，使用提供的AWS凭证初始化S3和Glacier客户端
2. 扫描指定Glacier库中的文件列表
3. 根据配置的并发数，批量将文件从Glacier复制到目标S3桶
4. 记录复制进度和结果，可通过日志查看详细信息
5. 复制完成后，工作器将退出或保持运行以监控新文件（取决于具体实现）