azman0101/s5cmd-fswatch

s5cmd与inode监控器镜像文档

概述

本镜像整合了s5cmd和inode watcher工具，提供文件系统事件驱动的S3数据同步能力。s5cmd是一款高性能的S3兼容对象存储客户端，支持批量、多线程的S3操作；inode watcher用于实时监控文件系统的inode变化，捕获文件/目录的创建、修改、删除等事件。通过结合两者，可构建基于文件系统事件触发的自动化S3数据传输工作流。

核心功能

s5cmd功能

• 全面S3操作支持：提供上传（put）、下载（get）、复制（cp）、删除（rm）、列出（ls）等S3标准操作，兼容AWS S3及其他S3兼容存储（如MinIO、Ceph S3等）。
• 高性能数据传输：采用多线程并发处理，支持批量操作和断点续传，大幅提升大文件、多文件的传输效率。
• 灵活的路径匹配：支持通配符、正则表达式等路径匹配方式，便于批量处理特定模式的文件/对象。

inode watcher功能

• 文件系统事件监控：实时监控指定目录的inode变化，支持捕获创建（create）、修改（modify）、删除（delete）、移动（move）等事件。
• 事件过滤配置：可通过文件类型、路径前缀、事件类型等条件过滤监控事件，避免无关事件触发。
• 触发动作配置：支持自定义事件触发的命令或脚本，可直接关联s5cmd操作。

集成特性

• 事件驱动工作流：inode watcher捕获文件系统事件后，自动触发预配置的s5cmd命令，实现“监控-触发-执行”的自动化数据同步。
• 轻量级部署：基于精简基础镜像构建，体积小，资源占用低，适合容器化环境快速部署。

使用场景

1. 本地目录与S3双向同步
   监控本地指定目录，当文件创建或修改时自动通过s5cmd上传至S3；或监控S3桶变化，触发本地目录下载更新。

2. 日志文件实时备份
   监控应用日志目录，新日志文件生成或更新后立即通过s5cmd上传至S3，实现日志的实时备份和集中存储。

3. 事件驱动的数据处理
   当本地接收到新数据文件（如传感器数据、用户上传文件），inode watcher触发s5cmd将文件上传至S3，并通知下游数据处理服务（如通过S3事件通知）。

4. 跨存储迁移自动化
   监控源存储目录，文件变化时通过s5cmd复制到目标S3桶，实现不同存储系统间的自动化数据迁移。

使用方法与配置说明

基本运行命令

bash
docker run -d \
  -v /local/watch/dir:/watch \  # 挂载本地监控目录到容器内/watch
  -e S3_ENDPOINT="https://s3.amazonaws.com" \  # S3服务端点（AWS S3可省略）
  -e S3_ACCESS_KEY="your-access-key" \  # S3访问密钥
  -e S3_SECRET_KEY="your-secret-key" \  # S3密钥
  -e WATCH_DIR="/watch" \  # 容器内监控目录路径
  -e EVENT_TYPES="create,modify" \  # 监控的事件类型（create/modify/delete/move）
  -e S5CMD_ACTION="put /watch/{{file}} s3://your-bucket/path/{{file}}" \  # 事件触发的s5cmd命令模板
  your-image-name:latest

环境变量配置

概述

本镜像整合了s5cmd和inode watcher工具，提供文件系统事件驱动的S3数据同步能力。s5cmd是一款高性能的S3兼容对象存储客户端，支持批量、多线程的S3操作；inode watcher用于实时监控文件系统的inode变化，捕获文件/目录的创建、修改、删除等事件。通过结合两者，可构建基于文件系统事件触发的自动化S3数据传输工作流。

核心功能

s5cmd功能

• 全面S3操作支持：提供上传（put）、下载（get）、复制（cp）、删除（rm）、列出（ls）等S3标准操作，兼容AWS S3及其他S3兼容存储（如MinIO、Ceph S3等）。
• 高性能数据传输：采用多线程并发处理，支持批量操作和断点续传，大幅提升大文件、多文件的传输效率。
• 灵活的路径匹配：支持通配符、正则表达式等路径匹配方式，便于批量处理特定模式的文件/对象。

inode watcher功能

• 文件系统事件监控：实时监控指定目录的inode变化，支持捕获创建（create）、修改（modify）、删除（delete）、移动（move）等事件。
• 事件过滤配置：可通过文件类型、路径前缀、事件类型等条件过滤监控事件，避免无关事件触发。
• 触发动作配置：支持自定义事件触发的命令或脚本，可直接关联s5cmd操作。

集成特性

• 事件驱动工作流：inode watcher捕获文件系统事件后，自动触发预配置的s5cmd命令，实现“监控-触发-执行”的自动化数据同步。
• 轻量级部署：基于精简基础镜像构建，体积小，资源占用低，适合容器化环境快速部署。

使用场景

1. 本地目录与S3双向同步
   监控本地指定目录，当文件创建或修改时自动通过s5cmd上传至S3；或监控S3桶变化，触发本地目录下载更新。

2. 日志文件实时备份
   监控应用日志目录，新日志文件生成或更新后立即通过s5cmd上传至S3，实现日志的实时备份和集中存储。

3. 事件驱动的数据处理
   当本地接收到新数据文件（如传感器数据、用户上传文件），inode watcher触发s5cmd将文件上传至S3，并通知下游数据处理服务（如通过S3事件通知）。

4. 跨存储迁移自动化
   监控源存储目录，文件变化时通过s5cmd复制到目标S3桶，实现不同存储系统间的自动化数据迁移。

使用方法与配置说明

基本运行命令

bash
docker run -d \
  -v /local/watch/dir:/watch \  # 挂载本地监控目录到容器内/watch
  -e S3_ENDPOINT="https://s3.amazonaws.com" \  # S3服务端点（AWS S3可省略）
  -e S3_ACCESS_KEY="your-access-key" \  # S3访问密钥
  -e S3_SECRET_KEY="your-secret-key" \  # S3密钥
  -e WATCH_DIR="/watch" \  # 容器内监控目录路径
  -e EVENT_TYPES="create,modify" \  # 监控的事件类型（create/modify/delete/move）
  -e S5CMD_ACTION="put /watch/{{file}} s3://your-bucket/path/{{file}}" \  # 事件触发的s5cmd命令模板
  your-image-name:latest

环境变量配置

配置文件（可选）

如需更复杂的配置（如多目录监控、多事件-动作映射），可通过挂载配置文件到容器/config/config.yaml实现，配置文件示例：

yaml
watchers:
  - dir: /watch/logs
    event_types: [create, modify]
    filter_pattern: ".*\.log$"
    s5cmd_action: "put {{file}} s3://my-bucket/logs/{{file}}"
  - dir: /watch/data
    event_types: [delete]
    filter_pattern: ".*\.csv$"
    s5cmd_action: "rm s3://my-bucket/data/{{file}}"
s5cmd:
  concurrency: 10  # s5cmd并发数
  retries: 3       # 操作失败重试次数

运行时挂载配置文件：

bash
docker run -d \
  -v /local/watch/dir:/watch \
  -v /local/config.yaml:/config/config.yaml \  # 挂载自定义配置文件
  -e S3_ACCESS_KEY="your-access-key" \
  -e S3_SECRET_KEY="your-secret-key" \
  your-image-name:latest

示例工作流：监控本地目录并自动上传新文件到S3

1. 本地创建监控目录：mkdir /tmp/local-watch
2. 运行容器，配置监控/tmp/local-watch目录，文件创建时上传至S3桶my-bucket的uploads/路径：

bash
docker run -d \
  -v /tmp/local-watch:/watch \
  -e S3_ACCESS_KEY="AKIAEXAMPLE" \
  -e S3_SECRET_KEY="secret123" \
  -e S3_REGION="us-west-2" \
  -e WATCH_DIR="/watch" \
  -e EVENT_TYPES="create" \
  -e S5CMD_ACTION="put /watch/{{file}} s3://my-bucket/uploads/{{file}}" \
  your-image-name:latest

3. 在/tmp/local-watch创建测试文件：echo "test" > /tmp/local-watch/test.txt
4. 容器将自动触发s5cmd执行put /watch/test.txt s3://my-bucket/uploads/test.txt，文件上传至S3。

注意事项

• 确保挂载的本地目录有足够权限，容器内进程需要读取监控目录和文件。
• S3访问密钥需具备执行对应s5cmd操作的权限（如上传需s3:PutObject权限）。
• 对于高频变动的文件（如持续写入的日志），建议设置合理的WATCH_DELAY避免重复触发。