jarnohenneman/aws-s3-sync

docker-aws-s3-sync

镜像概述

这是一个基于Alpine Linux的轻量级Docker容器，通过AWS命令行工具（AWS CLI）和cron实现本地文件夹到Amazon S3的定期同步。支持使用AWS凭证或ECS容器角色进行认证，适用于多种数据同步场景。

核心功能

1. 定期同步：通过cron调度实现定时数据同步
2. 双认证方式：支持AWS访问密钥凭证或ECS容器角色认证
3. 灵活配置：可自定义同步参数、目标路径、调度时间等
4. 轻量级：基于Alpine Linux，镜像体积小，资源占用低
5. 一次性同步：支持无cron模式，执行单次同步后退出

使用场景

• 本地数据定时备份到Amazon S3
• 一次性数据迁移到S3存储桶
• ECS环境下利用容器角色实现安全的数据同步

配置说明

运行命令格式

bash
docker run -d [OPTIONS] futurevision/aws-s3-sync

必填参数

• -e BUCKET=<BUCKET>：S3存储桶名称，例如dev-efs-8xabdop9fqb1
• -v /path/to/backup:/data:ro：将本地目标文件夹挂载到容器的/data目录（只读模式），该目录内容会同步到S3

可选参数

• -e KEY=<ACCESS_KEY>：AWS访问密钥（不使用容器角色时需填写）
• -e SECRET=<SECRET_KEY>：AWS秘密密钥（不使用容器角色时需填写）
• -e REGION=<REGION>：存储桶所在区域（不使用容器角色时需填写）
• -e PARAMS=<SYNC_PARAMS>：传递给aws s3 sync命令的参数（完整列表见http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html%EF%BC%89
• -e BUCKET_PATH=<PATH>：S3存储桶内的目标路径（需以斜杠开头），默认同步到桶根目录
• -e CRON_SCHEDULE="0 1 * * *"：cron调度时间（默认每天凌晨1点执行）
• no-cron：无cron模式，执行单次同步后退出

部署示例

每小时同步一次

bash
docker run -d \
  -e KEY=mykey \
  -e SECRET=mysecret \
  -e REGION=eu-central-1 \
  -e BUCKET=dev-efs-8xabdop9fqb1 \
  -e CRON_SCHEDULE="0 * * * *" \
  -e BUCKET_PATH=/path \
  -v /home/user/data:/data:ro \
  futurevision/aws-s3-sync

单次同步

bash
docker run --rm \
  -e KEY=mykey \
  -e SECRET=mysecret \
  -e REGION=eu-central-1 \
  -e BUCKET=dev-efs-8xabdop9fqb1 \
  -v /home/user/data:/data:ro \
  futurevision/aws-s3-sync no-cron

使用AWS角色同步

bash
docker run -d \
  -e BUCKET=dev-efs-8xabdop9fqb1 \
  -e CRON_SCHEDULE="0 * * * *" \
  -v /home/user/data:/data:ro \
  futurevision/aws-s3-sync

注意：使用AWS角色时，需将网络模式设置为host。

AWS角色策略示例

json
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation"
      ],
      "Resource": "arn:aws:s3:::dev-efs-8xabdop9fqb1",
      "Effect": "Allow"
    },
    {
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl",
        "s3:PutObjectTagging",
        "s3:Get*",
        "s3:DeleteObject",
        "s3:DeleteObjectTagging"
      ],
      "Resource": "arn:aws:s3:::dev-efs-8xabdop9fqb1/*",
      "Effect": "Allow"
    }
  ]
}

更多关于任务定义角色的信息，请参考https://docs.aws.amazon.com/AmazonECS/latest/developerguide/create-task-definition.html%E4%B8%AD%E7%9A%84EC2%E5%90%AF%E5%8A%A8%E7%B1%BB%E5%9E%8B%E5%85%BC%E5%AE%B9%E6%80%A7%E6%A8%A1%E6%9D%BF%E9%83%A8%E5%88%86%E3%80%82

致谢

本容器深受https://github.com/istepanov/docker-backup-to-s3/blob/master/README.md%E5%90%AF%E5%8F%91%EF%BC%8C%E4%B8%BB%E8%A6%81%E5%B7%AE%E5%BC%82%E5%8C%85%E6%8B%AC%EF%BC%9A

• 使用Alpine Linux替代Debian以实现更轻量级
• 采用AWS CLI的不同方法
• 支持AWS角色而非仅AWS凭证