crazymax/ftpgrab

crazy-max/ftpgrab Docker镜像文档

镜像概述

crazy-max/ftpgrab是一个轻量级Docker镜像，旨在提供简单高效的远程文件抓取解决方案。通过该镜像，用户可配置定时任务，自动从远程FTP或SFTP服务器抓取文件至本地或指定存储位置，无需手动操作，适用于自动化备份、数据同步及文件采集场景。

核心功能与特性

核心功能

• 多协议支持：原生支持FTP和SFTP协议，兼容主流远程文件服务器。
• 定时抓取：通过Cron表达式配置抓取频率，支持分钟级至月级的灵活定时任务。
• 文件筛选：支持按文件名、大小、修改时间等条件筛选需抓取的文件。
• 配置灵活：支持通过配置文件或环境变量定义抓取规则，满足个性化需求。

关键特性

• 轻量级：基于Alpine Linux构建，镜像体积小，资源占用低。
• 自动化：全程无需人工干预，配置后自动运行定时任务。
• 日志记录：详细记录抓取过程日志，便于问题排查与任务审计。
• 跨平台：支持Linux/Windows/macOS等主流操作系统的Docker环境。

使用场景

• 远程服务器备份：定期抓取远程FTP/SFTP服务器上的重要文件至本地存储，实现自动化备份。
• 数据同步：将远程服务器的指定文件同步至本地应用服务器，支撑业务数据流转。
• 自动化采集：从第三方FTP/SFTP数据源定时采集数据文件，用于数据分析或业务系统输入。
• 边缘设备文件汇总：集中抓取分布在多个边缘设备（如IoT设备）的日志或数据文件。

使用方法

基本用法

Docker Run 命令示例

bash
docker run -d \
  --name=ftpgrab \
  -v $(pwd)/config:/config \
  -v $(pwd)/data:/data \
  -e "TZ=Asia/Shanghai" \
  -e "CRON_SCHEDULE=0 0 * * *" \  # 每日凌晨执行
  crazy-max/ftpgrab

说明：

• -v $(pwd)/config:/config：挂载本地配置目录至容器，存放抓取规则配置文件（如ftpgrab.yml）。
• -v $(pwd)/data:/data：挂载本地数据目录，作为抓取文件的存储位置。
• -e "TZ=Asia/Shanghai"：设置时区，确保定时任务时间准确。
• -e "CRON_SCHEDULE=0 0 * * *"：Cron表达式，定义每日凌晨执行抓取任务。

配置说明

配置文件格式

核心配置通过挂载至/config/ftpgrab.yml的YAML文件定义，示例结构如下：

yaml
server:
  protocol: ftp  # 或 sftp
  host: ftp.example.com
  port: 21  # FTP默认21，SFTP默认22
  username: "remote_user"
  password: "remote_pass"
  timeout: 30s

source:
  path: "/remote/path"  # 远程服务器文件路径
  include:  # 包含文件规则（支持通配符）
    - "*.txt"
    - "data_*.csv"
  exclude:  # 排除文件规则
    - "temp_*"

destination:
  path: "/data/local/path"  # 本地存储路径
  overwrite: false  # 是否覆盖已存在文件

cron:
  schedule: "0 0 * * *"  # 定时任务表达式（优先级高于环境变量CRON_SCHEDULE）
  timezone: "Asia/Shanghai"

log:
  level: "info"  # 日志级别：debug/info/warn/error
  output: "/config/ftpgrab.log"  # 日志文件路径

核心配置参数说明

注意事项

• 安全建议：远程服务器 credentials 建议通过配置文件加密或Docker Secrets管理，避免明文暴露。
• 网络配置：确保Docker容器网络可访问远程FTP/SFTP服务器（检查防火墙、端口映射等）。
• 版本更新：定期更新镜像至最新版本以获取功能优化与安全修复，命令：docker pull docker.xuanyuan.run/crazy-max/ftpgrab。

参考资料

• 完整配置文档与高级用法：https://github.com/crazy-max/ftpgrab
• Cron表达式语法：Cron Wiki