ianneub/s3s3mirror

s3s3mirror镜像说明

镜像概述

s3s3mirror是一款用于在Amazon S3存储桶之间镜像内容的工具，设计目标是实现闪电般的速度和高并发，同时保持较低的CPU和内存占用。它能够根据对象的存在性、大小或ETag差异进行增量复制，并保留源对象的元数据和ACL列表。

核心功能

• 增量复制：仅当目标桶中不存在该对象，或对象的大小/ETag与源桶不同时才进行复制。
• 元数据与ACL保留：复制时同步源对象的元数据和ACL列表。
• 高并发：支持多线程操作，默认100线程，可通过参数调整。
• 本地目录支持：2.0稳定版支持与本地目录之间的复制（需参考对应分支）。
• 灵活过滤：可根据最后修改时间、前缀等筛选需要复制的对象。

使用场景

• 跨桶同步：将一个S3桶的内容同步到另一个桶（同账户或跨账户）。
• 增量备份：定期同步源桶的新增或修改对象到目标桶。
• 同桶内迁移：将桶内某个前缀下的内容迁移到另一个前缀。
• 跨账户复制：支持基于资源策略的跨AWS账户复制。

配置说明

AWS凭证获取

1. 环境变量：优先读取AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY。
2. 配置文件：检查~/.s3cfg文件获取凭证。
3. IAM角色：EC2实例可通过--iam参数使用IAM角色。

系统要求

• Java 6或Java 7（Java 8运行无问题，但编译可能存在兼容问题）。

构建方法

bash
mvn package

（注：项目已提供预构建jar包，仅修改源码时需重新构建）

使用命令

bash
s3s3mirror.sh [选项] <源桶[/源前缀]> <目标桶[/目标前缀]>

常用选项

• -c N：仅复制最近N天内修改的对象（支持后缀y/M/d/w/h/m/s）。
• -i：使用EC2实例的IAM角色。
• -n：Dry-run模式，仅显示操作不实际执行。
• -X：删除目标桶中源桶不存在的对象。
• -t N：设置最大线程数（默认100）。
• -E：启用AWS托管的服务器端加密。

示例

1. 复制整个源桶到目标桶：

bash
s3s3mirror.sh source-bucket dest-bucket

2. 复制最近7天修改的对象：

bash
s3s3mirror.sh -c 7d source-bucket dest-bucket

3. 复制源桶foo前缀到目标桶bar前缀：

bash
s3s3mirror.sh source-bucket/foo dest-bucket/bar

4. 同步并删除目标桶不存在的对象：

bash
s3s3mirror.sh -X source-bucket/foo dest-bucket/bar