clever/s3-to-redshift

clever/s3-to-redshift镜像说明

镜像概述

clever/s3-to-redshift是一款数据同步工具镜像，专注于实现Amazon S3存储与Redshift数据仓库之间的高效数据传输，并自动完成目标表的创建与结构更新。

核心功能

• 从指定S3存储桶复制数据到Redshift数据库
• 根据配置文件自动创建Redshift目标表
• 依据配置动态修改现有Redshift表结构

使用场景

• 数据仓库ETL流程中的S3到Redshift数据导入环节
• 日志、业务数据等定期同步至Redshift进行分析
• 需要自动维护表结构的数据同步场景

配置说明

需准备包含以下内容的配置文件：

1. Redshift数据库连接信息（主机、端口、用户名、密码、数据库名）
2. S3数据路径及访问凭证（AWS Access Key、Secret Key）
3. 目标表结构定义（字段名、数据类型、主键约束等）
4. 数据同步策略（如增量同步条件、全量覆盖规则）

部署示例

Docker Run命令

bash
docker run -v /本地配置目录:/app/config clever/s3-to-redshift

（注：需将本地配置目录映射到容器内的/app/config路径，确保配置文件存在于该目录）

Docker Compose示例

yaml
version: '3'
services:
  s3-to-redshift:
    image: clever/s3-to-redshift
    volumes:
      - ./config:/app/config
    environment:
      - AWS_REGION=us-east-1