elementar/s3-volume

docker-s3-volume

镜像概述

该Docker镜像用于创建可与S3（或兼容S3的对象存储服务）同步数据的容器，支持将容器内指定目录的数据备份到S3，或从S3恢复数据到容器目录。适用于短期进程处理数据并需要持久化到S3的场景。

核心功能

• 数据同步：容器启动时从S3恢复数据到指定目录，关闭时同步数据回S3；
• 定时同步：通过BACKUP_INTERVAL环境变量设置定时同步间隔（支持秒、分、时、天单位）；
• 凭证配置：支持EC2 IAM角色自动获取凭证，或通过环境变量设置AWS访问密钥；
• 兼容S3服务：可通过ENDPOINT_URL配置非AWS的S3兼容存储服务（如Oracle OCI Object Storage）；
• 强制操作：支持强制同步（发送USR1信号）和强制恢复（--force-restore选项）；
• 删除控制：通过S3_SYNC_FLAGS控制是否同步本地删除到S3。

使用场景

• 短期数据处理任务（如批处理作业）需要持久化结果到S3；
• 与其他容器共享S3同步的数据（通过--volumes-from）；
• 需定期备份数据到S3的场景。

配置说明

基础用法

启动数据容器，从S3恢复数据到/data目录，关闭时同步回S3：

bash
docker run -d --name my-data-container \
           elementar/s3-volume /data s3://mybucket/someprefix

定时同步

设置每2分钟同步一次：

bash
docker run -d --name my-data-container -e BACKUP_INTERVAL=2m \
           elementar/s3-volume /data s3://mybucket/someprefix

凭证配置

非EC2环境下通过环境变量设置AWS凭证：

bash
docker run -d --name my-data-container \
           -e AWS_ACCESS_KEY_ID=你的AccessKey -e AWS_SECRET_ACCESS_KEY=你的SecretKey \
           elementar/s3-volume /data s3://mybucket/someprefix

S3兼容服务配置

指定非AWS的S3兼容服务端点：

bash
docker run -d --name my-data-container -e ENDPOINT_URL=https://your-endpoint-url \
           elementar/s3-volume /data s3://mybucket/someprefix

强制同步

发送USR1信号触发强制同步：

bash
docker kill --signal=USR1 my-data-container

强制恢复

强制重新从S3恢复数据：

bash
docker run -d --name my-data-container \
           elementar/s3-volume --force-restore /data s3://mybucket/someprefix

关闭删除同步

禁止将本地删除同步到S3：

bash
docker run -d -e S3_SYNC_FLAGS="" elementar/s3-volume /data s3://mybucket/someprefix

Docker Compose示例

与PostgreSQL容器共享S3同步数据：

yaml
# docker-compose.yaml
version: "2"

volumes:
  s3data:
    driver: local

services:
  s3vol:
    image: elementar/s3-volume
    command: /data s3://mybucket/someprefix
    volumes:
      - s3data:/data
  db:
    image: postgres
    volumes:
      - s3data:/var/lib/postgresql/data

贡献指南

1. Fork本仓库；
2. 创建特性分支：git checkout -b my-new-feature；
3. 提交变更：git commit -am 'Add some feature'；
4. 推送分支：git push origin my-new-feature；
5. 提交Pull Request。

Credits

• 原开发者：Dave Newman (@whatupdave)
• 当前维护者：Fábio Batista (@fabiob)

许可证

本仓库采用MIT许可证发布：

• [***]