zmazay/s3sync-service

s3sync-service

镜像概述和主要用途

s3sync-service 是一款轻量级工具，专为 Kubernetes 环境设计，旨在将数据同步到 S3 存储服务，支持多个“站点”（路径+桶组合）。每个“站点”可拥有独立的凭证集并位于不同区域，这使得 s3sync-service 具备极高的灵活性。

核心功能和特性

• 多站点支持：可同时同步多个路径到不同 S3 桶，每个站点为独立的路径+桶组合
• 灵活凭证管理：每个站点可配置独立的访问凭证和区域，适应多团队、多项目场景
• Kubernetes 优化：轻量级设计，资源占用低，适合在 Kubernetes 环境中部署
• 实时数据同步：高效同步本地数据到 S3 存储服务
• 自定义排除规则：支持正则表达式定义排除文件，过滤无需同步的内容

使用场景和适用范围

• Kubernetes 集群内数据备份与同步
• 多团队或项目需独立配置 S3 存储的场景
• 跨区域 S3 桶数据同步与备份
• 不同路径需设置不同存储类别（如标准、低频访问）的需求
• 需要过滤特定系统文件（如 .DS_Store、Thumbs.db）的同步任务

使用方法和配置说明

快速启动

Docker 命令启动

bash
docker run --rm -ti \
  -e "AWS_ACCESS_KEY_ID=AKIAI44QH8DHBEXAMPLE" \
  -e "AWS_SECRET_ACCESS_KEY=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY" \
  -e "AWS_DEFAULT_REGION=us-east-1" \
  -v "/path/to/config:/opt/s3sync-service" \
  -v "/backup/path:/backup" \
  zmazay/s3sync-service \
  ./s3sync-service -config /opt/s3sync-service/config.yml

Docker Compose 配置

yaml
version: '3.3'
services:
  s3sync-service:
    environment:
      - AWS_ACCESS_KEY_ID=AKIAI44QH8DHBEXAMPLE
      - AWS_SECRET_ACCESS_KEY=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY
      - AWS_DEFAULT_REGION=us-east-1
    volumes:
      - '/backup/path:/backup'  # 挂载本地需同步的路径
      - '/path/to/config.yml:/app/config.yml'  # 挂载配置文件
    image: zmazay/s3sync-service

配置说明

配置文件示例

yaml
upload_workers: 10  # 上传工作线程数，控制并发能力
sites:
  - local_path: /local/path1  # 本地同步路径
    bucket: backup-bucket-path1  # S3 桶名称
    bucket_region: us-east-1  # S3 桶区域
    storage_class: STANDARD_IA  # S3 存储类别
    access_key: AKIAI44QH8DHBEXAMPLE  # 站点独立访问密钥（可选）
    secret_access_key: je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY  # 站点独立密钥（可选）
    exclusions:  # 排除文件规则（正则表达式）
      - .[Dd][Ss]_[Ss]tore  # 排除 .DS_Store 文件
      - .[Aa]pple[Dd]ouble  # 排除 .AppleDouble 文件
  - local_path: /local/path2  # 第二个同步站点
    bucket: backup-bucket-path2
    bucket_path: path2  # S3 桶内目标路径
    exclusions:
      - "[Tt]humbs.db"  # 排除 Thumbs.db 文件

核心配置参数说明

• upload_workers: 上传工作线程数，控制并发上传能力，根据服务器性能调整
• sites: 同步站点列表，每个站点包含以下参数：
  • local_path: 本地需同步的路径（必填）
  • bucket: S3 存储桶名称（必填）
  • bucket_region: S3 桶所在区域（可选，未指定则使用环境变量 AWS_DEFAULT_REGION）
  • bucket_path: S3 桶内的目标路径（可选，默认同步到桶根目录）
  • storage_class: S3 存储类别（可选，如 STANDARD、STANDARD_IA 等）
  • access_key/secret_access_key: 站点独立的 AWS 访问凭证（可选，未指定则使用环境变量）
  • exclusions: 排除文件的正则表达式列表（可选，用于过滤不需要同步的文件）

环境变量说明

若站点未配置独立凭证，将使用以下全局环境变量：

• AWS_ACCESS_KEY_ID: AWS 访问密钥 ID
• AWS_SECRET_ACCESS_KEY: AWS 密钥
• AWS_DEFAULT_REGION: 默认 AWS 区域（用于未指定区域的站点）