openbridge/ob_bulkstash

Bulk Stash - 云存储批量处理工具

Bulk Stash是一个基于rclone的Docker镜像服务，用于在不同存储服务之间同步或复制文件。例如，您可以在Amazon S3与Google Cloud Storage之间、本地设备与远程存储之间，或两个远程SFTP服务器之间复制文件。

核心功能

• Docker化封装：将rclone打包为Docker镜像，可在任何支持Docker的环境中运行。
• 轻量高效：基于Alpine Linux构建，镜像大小小于26MB。
• 环境变量配置：支持通过环境变量设置rclone配置，无需手动初始化配置流程。
• 进程监控：使用Monit监控长时间运行的进程（如crond），确保服务稳定。
• 灵活配置：配置可存储在容器外部，支持运行时手动或通过脚本注入。
• 文件完整性保障：始终检查MD5/SHA1哈希值，保留文件时间戳，支持部分同步。
• 加密与挂载：可选Crypt加密和FUSE挂载功能。

支持的存储服务

• Google Drive
• Amazon S3
• Google Cloud Storage
• 本地文件系统
• SFTP服务器
• Dropbox、Backblaze B2等（完整列表见rclone文档）

使用场景

• 云存储之间的文件同步（如S3到Google Cloud Storage）。
• 本地文件与远程存储的批量传输。
• 通过定时任务自动同步指定目录的文件。
• 监控本地目录大小，达到阈值时自动触发文件转移。

配置与部署示例

拉取镜像

bash
docker pull docker.xuanyuan.run/openbridge/ob_bulkstash
# 拉取指定版本
docker pull docker.xuanyuan.run/openbridge/ob_bulkstash:1.48.0

基本同步示例（S3到Google Cloud Storage）

1. 创建环境变量文件sample.env：

env
# Amazon S3配置
RCLONE_CONFIG_MYS3_TYPE=s3
RCLONE_CONFIG_MYS3_ACCESS_KEY_ID=您的S3访问密钥
RCLONE_CONFIG_MYS3_SECRET_ACCESS_KEY=您的S3密钥
RCLONE_CONFIG_MYS3_SERVER_SIDE_ENCRYPTION=AES256

# Google Cloud Storage配置
RCLONE_CONFIG_MYGS_TYPE=google cloud storage
RCLONE_CONFIG_MYGS_PROJECT_NUMBER=您的GCP项目编号
RCLONE_CONFIG_MYGS_SERVICE_ACCOUNT_FILE=/auth.json

2. 运行同步命令：

bash
docker run docker.xuanyuan.run/openbridge/ob_bulkstash \
  --env-file sample.env \
  -v /path/to/your/auth.json:/auth.json \
  rclone copy MYS3:my-aws-bucket/path MYGS:my-gcp-bucket/path

定时任务配置（使用crond）

1. 创建crontab.conf文件：

bash
SHELL=/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
*/15 * * * * /usr/bin/env bash -c "rclone copy MYS3:my-bucket/path MYGS:my-bucket/path" 2>&1

2. 运行容器并挂载定时配置：

bash
docker run -d \
  --env-file sample.env \
  -v /path/to/crontab.conf:/cron/crontab.conf \
  -v /path/to/auth.json:/auth.json \
  -e RCLONE_CRONFILE=/cron/crontab.conf \
  docker.xuanyuan.run/openbridge/ob_bulkstash crond -f

更多信息

• rclone官方文档：https://rclone.org/docs/
• 镜像版本列表：https://hub.docker.com/r/openbridge/ob_bulkstash/tags/