greyhard/aws-s3-sync

greyhard/aws-s3-sync

镜像概述

本镜像为多平台（linux/amd64、linux/arm64）Docker容器，基于Alpine Linux 3.22构建，集成Python 3.12和AWS Command Line Interface工具，用于通过cron定期将本地文件夹同步到Amazon S3或S3兼容存储（如Yandex Cloud Object Storage）。镜像采用Alpine Linux确保轻量性，同时提供灵活的同步配置选项。

核心功能

• 多平台支持：兼容amd64和arm64架构，适配不同硬件环境；
• 定期同步：通过cron调度实现定时数据同步；
• S3兼容：支持AWS S3及Yandex Cloud等S3兼容存储服务；
• 轻量高效：基于Alpine Linux，镜像体积小，资源占用低；
• 灵活配置：可自定义同步计划、存储端点、桶路径等参数；
• 一次性同步：支持执行单次同步任务后退出，无需定时调度。

使用场景

• 本地数据定期备份到云存储（如AWS S3、Yandex Cloud）；
• 跨平台环境下的数据同步任务；
• 一次性将本地文件迁移到S3或兼容存储；
• 企业或个人的自动化数据备份需求。

配置说明

环境变量

必填参数

• AWS_ACCESS_KEY_ID：AWS或S3兼容存储的访问密钥；
• AWS_SECRET_ACCESS_KEY：AWS或S3兼容存储的秘密密钥；
• AWS_DEFAULT_REGION：存储桶所在区域（例如Yandex Cloud为ru-central1）；
• BUCKET：目标存储桶名称；
• 卷挂载：需将本地待同步文件夹挂载到容器内的/data路径（建议使用ro只读模式）。

可选参数

• PARAMS：同步命令的额外参数（参考http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html%EF%BC%89%EF%BC%8C%E4%BE%8B%E5%A6%82Yandex Cloud需添加--endpoint-url=https://storage.yandexcloud.net；
• BUCKET_PATH：存储桶内的目标路径（需以/开头），默认值为/；
• CRON_SCHEDULE：cron同步计划（参考cron语法），默认值为0 1 * * *（每日凌晨1点）；
• 命令now：执行单次同步后退出（无需定时调度）。

部署示例

Docker Compose（推荐）

1. 创建.env文件存储凭证：

env
AWS_ACCESS_KEY_ID=your_access_key
AWS_SECRET_ACCESS_KEY=your_secret_key

2. 创建docker-compose.yml：

yaml
version: '3.3'
services:
  s3sync:
    image: greyhard/aws-s3-sync
    restart: always
    environment:
      AWS_ACCESS_KEY_ID: ${AWS_ACCESS_KEY_ID}
      AWS_SECRET_ACCESS_KEY: ${AWS_SECRET_ACCESS_KEY}
      AWS_DEFAULT_REGION: ru-central1
      BUCKET: your-bucket-name
      BUCKET_PATH: /your/path
      CRON_SCHEDULE: "0 */4 * * *"
      PARAMS: "--endpoint-url=https://storage.yandexcloud.net"
    volumes:
      - ./data:/data:ro

3. 启动服务：docker-compose up -d

Docker Run示例

Yandex Cloud每4小时同步

bash
docker run -d \
    -e AWS_ACCESS_KEY_ID=YCAJE... \
    -e AWS_SECRET_ACCESS_KEY=YCPw... \
    -e AWS_DEFAULT_REGION=ru-central1 \
    -e BUCKET=mybucket \
    -e BUCKET_PATH=/backups \
    -e CRON_SCHEDULE="0 */4 * * *" \
    -e PARAMS="--endpoint-url=https://storage.yandexcloud.net" \
    -v /path/to/data:/data:ro \
    greyhard/aws-s3-sync

AWS S3每小时同步

bash
docker run -d \
    -e AWS_ACCESS_KEY_ID=AKIA... \
    -e AWS_SECRET_ACCESS_KEY=secret... \
    -e AWS_DEFAULT_REGION=us-east-1 \
    -e BUCKET=mybucket \
    -e BUCKET_PATH=/backups \
    -e CRON_SCHEDULE="0 * * * *" \
    -v /home/user/data:/data:ro \
    greyhard/aws-s3-sync

一次性同步（无定时）

bash
docker run --rm \
    -e AWS_ACCESS_KEY_ID=your_key \
    -e AWS_SECRET_ACCESS_KEY=your_secret \
    -e AWS_DEFAULT_REGION=ru-central1 \
    -e BUCKET=mybucket \
    -e PARAMS="--endpoint-url=https://storage.yandexcloud.net" \
    -v /home/user/data:/data:ro \
    greyhard/aws-s3-sync now

致谢

本容器深受https://github.com/istepanov/docker-backup-to-s3/blob/master/README.md%E5%90%AF%E5%8F%91%E3%80%82%E4%B8%BB%E8%A6%81%E5%B7%AE%E5%BC%82%E5%9C%A8%E4%BA%8E%E4%BD%BF%E7%94%A8Alpine Linux替代Debian以实现更轻量，同时采用不同的AWS CLI工具使用方式。