soloman1124/s3sync

s3sync镜像说明

镜像概述

s3sync 是一款基于Docker的S3文件同步工具，封装了s3cmd sync和https://github.com/robfig/cron%EF%BC%8C%E6%8F%90%E4%BE%9B%E5%B8%B8%E8%A7%81%E7%9A%84S3%E6%96%87%E4%BB%B6%E5%A4%B9%E5%90%8C%E6%AD%A5%E5%8A%9F%E8%83%BD%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E5%B7%B2%E4%BD%BF%E7%94%A8Docker%E7%8E%AF%E5%A2%83%E7%9A%84%E7%94%A8%E6%88%B7%E3%80%82%E9%95%9C%E5%83%8F%E5%8F%AF%E9%80%9A%E8%BF%87%E4%BB%A5%E4%B8%8B%E5%9C%B0%E5%9D%80%E5%85%AC%E5%BC%80%E6%8B%89%E5%8F%96%EF%BC%9A

• [***] pull quay.io/intellihr/s3sync）
• https://hub.docker.com/r/soloman1124/s3sync%EF%BC%88docker pull soloman1124/s3sync）

核心功能

• 支持本地与S3桶之间的文件推送（push）和拉取（pull）操作
• 支持定时同步（通过CRON_SCHEDULE配置）
• 可同步删除的文件（DELETE_REMOVED=true）
• 支持自定义s3cmd sync选项（SYNC_OPTIONS）
• 支持AWS IAM角色认证（EC2实例、ECS任务）

使用场景

1. 本地文件定期备份到S3桶
2. 从S3桶拉取最新数据到本地环境
3. 跨环境间通过S3实现文件同步
4. 定时同步指定目录的文件（如DAGs、插件等）

配置说明

卷

/opt/data 是用于与S3桶同步的本地指定卷。若需同步本地/tmp文件夹，可在Docker命令中指定 -v /tmp:/opt/data。

环境变量

若在已配置适当IAM角色的EC2实例中运行，可跳过以下环境变量：

AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_DEFAULT_REGION

更多详情请参考：[***]

• OPERATION：操作类型，可选push（本地到S3）或pull（S3到本地），默认值为pull
• DELETE_REMOVED：设置为true时同步删除的文件，详情参考s3cmd sync的--delete-removed选项
• CRON_SCHEDULE：指定定时同步规则，格式参考robfig/cron文档，例如@every 5m（每5分钟）、0 0 * * *（每天0点）
• SYNC_OPTIONS：附加s3cmd sync选项，例如"--dry-run --exclude '*' --rinclude '^(dags|plugins)\\/.*'"
• USE_ECS_TASK_IAM_ROLE：在AWS ECS任务中运行时，设置为true可自动加载任务IAM角色凭证

部署示例

本地到S3同步

bash
docker run --rm \
-e AWS_ACCESS_KEY_ID=<你的AWS访问密钥ID> \
-e AWS_SECRET_ACCESS_KEY=<你的AWS秘密访问密钥> \
-e AWS_DEFAULT_REGION=ap-southeast-2 \
-e S3_BUCKET=test_bucket \
-e S3_KEY=envs/test \
-e OPERATION=push \
-v <本地文件夹路径>:/opt/data \
quay.io/intellihr/s3sync:latest

• 将<本地文件夹路径>替换为你要上传到S3的文件/文件夹路径

S3到本地同步

bash
docker run --rm \
-e AWS_ACCESS_KEY_ID=<你的AWS访问密钥ID> \
-e AWS_SECRET_ACCESS_KEY=<你的AWS秘密访问密钥> \
-e AWS_DEFAULT_REGION=ap-southeast-2 \
-e S3_BUCKET=test_bucket \
-e S3_KEY=envs/test \
-e OPERATION=pull \
-v <本地文件夹路径>:/opt/data \
quay.io/intellihr/s3sync:latest

• 将<本地文件夹路径>替换为你要下载S3文件的目标文件夹路径

每5分钟从S3同步到本地

bash
docker run --rm \
-e AWS_ACCESS_KEY_ID=<你的AWS访问密钥ID> \
-e AWS_SECRET_ACCESS_KEY=<你的AWS秘密访问密钥> \
-e AWS_DEFAULT_REGION=ap-southeast-2 \
-e S3_BUCKET=test_bucket \
-e S3_KEY=envs/test \
-e OPERATION=pull \
-e CRON_SCHEDULE="@every 5m" \
-v <本地文件夹路径>:/opt/data \
quay.io/intellihr/s3sync:latest

每5分钟从S3同步指定模式文件（含dry run）

bash
docker run --rm \
-e AWS_ACCESS_KEY_ID=<你的AWS访问密钥ID> \
-e AWS_SECRET_ACCESS_KEY=<你的AWS秘密访问密钥> \
-e AWS_DEFAULT_REGION=ap-southeast-2 \
-e S3_BUCKET=test_bucket \
-e S3_KEY=envs/test \
-e OPERATION=pull \
-e CRON_SCHEDULE="@every 5m" \
-e SYNC_OPTIONS="--exclude '*' --rinclude '^(dags|plugins)\\/.*' --dry-run" \
-v <本地文件夹路径>:/opt/data \
quay.io/intellihr/s3sync:latest