opensciencegrid/s3-backup

S3数据备份客户端Docker镜像文档

镜像概述

本Docker镜像提供一个轻量级客户端工具，用于将本地或容器内数据备份至Amazon S3云存储服务或兼容S3 API的对象存储服务（如MinIO、Ceph等）。镜像封装了S3客户端核心功能，简化了备份流程，用户无需手动配置底层依赖，可通过环境变量或配置文件快速实现数据备份与同步。

核心功能与特性

• S3兼容性：全面支持Amazon S3标准API及兼容S3协议的存储服务
• 灵活备份策略：支持全量备份与增量同步（基于文件修改时间或哈希值）
• 配置便捷：通过环境变量或挂载配置文件实现参数配置，无需复杂手动设置
• 轻量级设计：基于 Alpine 基础镜像，镜像体积小，资源占用低
• 数据校验：可选启用备份后数据校验，确保数据完整性
• 多平台支持：支持 AMD64/ARM64 等主流架构

使用场景

• 个人数据备份：本地文件（文档、照片、视频等）定时备份至S3存储
• 服务器数据备份：物理机/虚拟机数据通过Docker容器便捷备份至S3
• 应用数据灾备：将应用服务数据（如数据库文件、日志）备份至S3实现异地灾备
• 开发环境同步：开发团队共享数据通过S3存储实现跨环境同步

使用方法

基础使用（Docker Run）

通过以下命令快速启动备份任务，将本地/data/to/backup目录备份至S3桶my-backup-bucket的server-backups路径下：

bash
docker run -d \
  -v /data/to/backup:/backup/source \  # 挂载本地需备份数据目录
  -e AWS_ACCESS_KEY_ID="your-access-key" \  # S3访问密钥ID
  -e AWS_SECRET_ACCESS_KEY="your-secret-key" \  # S3密钥
  -e S3_BUCKET="my-backup-bucket" \  # 目标S3桶名称
  -e S3_PATH="server-backups" \  # 桶内备份路径
  -e SYNC_MODE="incremental" \  # 同步模式：incremental（增量）/full（全量）
  s3-backup-client:latest

Docker Compose配置

创建docker-compose.yml文件，配置定时备份任务：

yaml
version: '3'
services:
  s3-backup:
    image: s3-backup-client:latest
    volumes:
      - /var/lib/mysql:/backup/source:ro  # 只读挂载数据库目录
      - ./backup-config:/backup/config  # 挂载配置文件（可选）
    environment:
      - AWS_ACCESS_KEY_ID="your-access-key"
      - AWS_SECRET_ACCESS_KEY="your-secret-key"
      - S3_BUCKET="app-db-backups"
      - S3_PATH="mysql-daily"
      - SYNC_MODE="full"
      - SCHEDULE="0 3 * * *"  # 每日凌晨3点执行备份（需镜像支持定时任务）
    restart: unless-stopped

配置参数说明

必选环境变量

可选环境变量

配置文件方式（可选）

如需更复杂配置（如排除特定文件、设置存储类别等），可挂载配置文件至容器/backup/config/s3-backup.conf，格式示例：

ini
[default]
access_key = your-access-key
secret_key = your-secret-key
bucket = my-backup-bucket
endpoint = https://s3.example.com  # 兼容S3的自定义存储服务端点
path = archive/2024

[sync]
source = /backup/source
mode = incremental
exclude = *.log  # 排除日志文件
storage_class = STANDARD_IA  # S3存储类别

注意事项

1. 确保S3访问密钥具有目标桶的s3:PutObject权限，避免因权限不足导致备份失败
2. 增量同步依赖文件修改时间或哈希值，建议对频繁变更的大文件使用全量备份
3. 挂载本地目录时，建议使用ro（只读）模式保护源数据
4. 非AWS S3服务需指定S3_ENDPOINT（如MinIO服务端点http://minio:9000）