mediacloudai/rs_transfer_worker

Rust传输工作者镜像

镜像概述

本镜像为基于Rust开发的轻量级文件传输工具，提供多协议的文件读写与传输能力，可灵活处理不同来源和目标的文件数据交换需求，具备高效、稳定的特性。

核心功能

支持的读取/下载协议

• 本地文件系统
• FTP协议
• SFTP协议
• HTTP协议
• S3对象存储协议

支持的写入/上传协议

• 本地文件系统
• FTP协议
• SFTP协议
• S3对象存储协议

使用场景

• 跨协议数据迁移（如从FTP服务器迁移文件到S3存储）
• 批量文件同步（本地目录与远程存储之间的定期同步）
• 自动化数据备份任务（将本地数据上传至远程存储）
• 多源数据聚合（从不同协议源读取数据并统一存储）

配置与测试

测试环境搭建

从项目目录执行以下命令启动包含FTP服务器、HTTP端点、S3桶的测试环境：

bash
docker-compose up

停止测试环境：

bash
docker-compose down

示例文件

./examples目录提供了用于验证传输功能的示例消息文件，可直接用于测试不同协议的传输效果。

性能基准

测试环境启动后，执行以下命令运行性能基准测试（基于示例消息文件）：

bash
cargo bench

该命令会输出不同协议下的传输性能数据，帮助优化配置。