esnerd/keboola-ftp-extractor

FTP(S)/SFTP提取器（Keboola Connection）

镜像概述

该Docker组件是Keboola Connection的FTP(S)/SFTP数据提取工具，用于从FTP服务器获取文件并同步到Keboola Storage，支持多种传输协议和增量更新逻辑，适用于企业级数据集成场景。

核心功能

• 多协议支持：兼容FTP、FTPS（隐式/显式）、SFTP协议；
• 灵活文件检索：可获取单个文件、指定目录下所有CSV文件或带特定前缀的CSV文件；
• 增量下载：基于远程文件时间戳，仅同步上次检索后新增/修改的文件（需正确配置服务器时区）；
• 压缩包处理：支持ZIP文件提取，合并包内所有CSV文件到单个存储表；
• 自定义配置：可设置文件分隔符、包围符、存储上传模式（增量/全量）等参数。

使用场景

• 定期同步FTP服务器的CSV数据到Keboola Storage；
• 批量处理指定前缀或目录下的业务数据文件；
• 提取ZIP压缩包中的结构化数据并统一存储。

配置说明

必选参数

• FTP host URL：FTP服务器地址；
• FTP user name：FTP登录用户名；
• FTP password：FTP登录密码；
• FTP protocol：传输协议（可选值：FTP、FTPS_IMPLICIT、FTPS_EXPLICIT、SFTP）；
• FTP host timezone：FTP服务器时区（影响增量下载的时间戳判断，SFTP无需此参数）；
• mappings：文件/目录映射列表（每个映射需包含：Remote Path、Table name、Primary Key）。

可选参数

• FTP host port：自定义端口（默认使用协议默认端口，如FTP为21）；
• Download folder or file：是否下载目录（默认是目录）；
• Compression：压缩类型（默认None，支持ZIP）；
• extension：文件扩展名（默认csv，支持*通配符）；
• Storage upload mode：上传模式（默认INCREMENTAL）；
• Prefix：文件名称前缀；
• Delimiter：CSV文件分隔符（默认,）；
• Enclosure：CSV字段包围符（默认"）。

部署示例

Docker Run命令

将本地配置文件挂载到容器内执行：

bash
docker run -v $(pwd)/config:/app/config esnerd/keboola-ftp-extractor --config /app/config/config.json

配置文件示例（下载指定前缀的CSV文件）

json
{
  "user": "ftp_user",
  "#pass": "ftp_pass",
  "host": "ftp.example.com",
  "protocol": "FTP",
  "timezone": "Asia/Shanghai",
  "mappings": [
    {
      "ftpPath": "data/orders",
      "sapiPath": "out.c-main.order_data",
      "pkey": ["order_id"],
      "prefix": "daily_",
      "extension": "csv"
    }
  ]
}

该配置会下载data/orders目录下所有以daily_开头的CSV文件，并增量同步到out.c-main.order_data表。