peakcom/s5cmd

S3与本地文件系统并行执行工具

镜像概述

本镜像提供一个轻量级工具，专注于并行处理Amazon S3对象存储与本地文件系统之间的各类操作。通过多线程/多进程架构提升数据传输、同步和管理效率，简化跨存储系统的批量任务执行流程。

核心功能与特性

• 并行处理引擎：支持多线程/多进程并发操作，显著提升大规模文件传输效率
• 双向数据交互：完整支持S3与本地文件系统间的上传、下载、同步、删除等操作
• 智能任务调度：内置任务队列管理，支持任务优先级排序与失败重试机制
• 实时监控能力：提供详细的进度跟踪、性能指标与操作日志记录
• 灵活配置选项：支持自定义并发数、文件过滤规则、传输带宽限制等参数
• S3兼容性：兼容AWS S3及各类S3兼容对象存储服务（如MinIO、Ceph等）

使用场景和适用范围

• 数据备份与恢复：本地文件系统批量备份至S3，或从S3恢复数据至本地
• 大规模数据迁移：企业级数据中心与S3存储间的TB/PB级数据迁移
• 跨环境数据同步：保持开发/测试/生产环境中S3与本地文件系统内容一致性
• 自动化数据管道：作为ETL流程中的关键组件，处理文件传输与预处理步骤
• 边缘计算场景：在资源受限环境中高效同步本地数据至云端S3存储

使用方法和配置说明

基础使用（Docker Run）

bash
docker run -d \
  --name s3-parallel-tool \
  -e AWS_ACCESS_KEY_ID="your-access-key" \
  -e AWS_SECRET_ACCESS_KEY="your-secret-key" \
  -e AWS_REGION="us-east-1" \
  -v /path/to/local/directory:/data \
  s3-parallel-tool:latest \
  sync \
  --source /data \
  --destination s3://your-bucket/path \
  --concurrency 10 \
  --overwrite

Docker Compose 配置

yaml
version: '3'
services:
  s3-parallel-tool:
    image: s3-parallel-tool:latest
    environment:
      - AWS_ACCESS_KEY_ID=your-access-key
      - AWS_SECRET_ACCESS_KEY=your-secret-key
      - AWS_REGION=us-east-1
      - LOG_LEVEL=info
    volumes:
      - ./local-data:/data
      - ./config:/app/config
      - ./logs:/app/logs
    command: sync --source /data --destination s3://your-bucket/path --concurrency 15

环境变量配置

命令行参数说明

基本命令格式：docker run s3-parallel-tool [command] [options]

主要命令：

• upload: 将本地文件上传至S3
• download: 从S3下载文件至本地
• sync: 双向同步S3与本地文件系统
• delete: 删除S3或本地文件系统中的指定文件

常用选项：

--source PATH        源路径（本地路径或S3路径，如s3://bucket/path）
--destination PATH   目标路径（本地路径或S3路径）
--concurrency N      并发数（1-100），默认5
--overwrite          覆盖已存在文件，默认不覆盖
--filter PATTERN     文件过滤模式（如*.log, *.json）
--exclude PATTERN    排除文件模式
--dry-run            模拟操作，不执行实际修改
--bandwidth LIMIT    带宽限制（如100M，单位K/M/G）
--log-file PATH      日志输出文件路径

示例用法

1. 本地文件上传至S3

bash
docker run -e AWS_ACCESS_KEY_ID=xxx -e AWS_SECRET_ACCESS_KEY=xxx \
  -v /local/data:/data s3-parallel-tool:latest \
  upload --source /data --destination s3://my-bucket/backup \
  --concurrency 20 --filter *.tar.gz --overwrite

2. S3文件下载至本地

bash
docker run -e AWS_ACCESS_KEY_ID=xxx -e AWS_SECRET_ACCESS_KEY=xxx \
  -v /local/restore:/restore s3-parallel-tool:latest \
  download --source s3://my-bucket/backup --destination /restore \
  --concurrency 15 --exclude *.tmp

3. 双向同步操作

bash
docker run -e AWS_ACCESS_KEY_ID=xxx -e AWS_SECRET_ACCESS_KEY=xxx \
  -v /local/sync:/sync s3-parallel-tool:latest \
  sync --source /sync --destination s3://my-bucket/sync \
  --concurrency 10 --overwrite --log-file /sync/sync.log