sammarsayed/s3-folder-upload

Concourse CI的S3多文件资源镜像

镜像概述

本镜像为Concourse CI提供S3资源支持，可实现多个文件的上传或下载操作。与官方S3资源相比，它支持批量文件处理，且允许自定义同步选项、存储路径及AWS区域，提升了使用灵活性。

核心功能

1. 多文件同步：支持上传或下载目录下的多个文件；
2. 灵活的凭证方式：可手动配置AWS密钥，或通过EC2元数据服务获取角色凭证；
3. 自定义同步选项：支持AWS CLI的s3 sync命令参数（如排除/包含文件）；
4. 区域指定：可显式设置S3桶所在区域，适配需要Signature Version 4的区域；
5. 同步模式开关：默认同步S3文件，可关闭同步仅上传新文件。

使用场景

• Concourse CI流水线中，将构建产物（如编译后的二进制文件、报告）上传至S3存储；
• 从S3下载依赖文件或配置，用于流水线中的任务执行；
• 批量备份或同步数据到S3桶的指定路径。

配置说明

1. Resource Type配置

在流水线YAML中定义资源类型：

yaml
resource_types:
- name: s3-multi-resource
  type: docker-image
  source:
    repository: sammarsayed/s3-folder-upload

2. Resource配置

定义具体的S3资源：

yaml
resources:
- name: my-s3-resource
  type: s3-multi-resource
  source:
    access_key_id: {{aws-access-key}}  # 可选，未提供则使用EC2角色
    secret_access_key: {{aws-secret-key}}  # 可选
    bucket: {{aws-bucket-name}}
    path: "my-project/builds"  # 可选，指定桶内路径（默认根目录）
    options: ["--exclude '*'", "--include 'results/*'"]  # 可选，同步参数
    region: "eu-west-2"  # 可选，指定区域
    sync: true  # 可选，默认true（同步模式）

3. Job配置

在任务中使用该资源：

yaml
jobs:
- name: upload-build-artifacts
  plan:
  - get: build-output  # 获取构建产物
  - put: my-s3-resource  # 上传到S3
    params:
      file: build-output/**/*  # 指定要上传的文件

关键参数说明

• access_key_id/secret_access_key：AWS访问密钥，若未配置则自动从EC2元数据服务获取角色凭证；
• options：对应AWS CLI s3 sync的参数，如--exclude/--include实现文件过滤；
• region：S3桶所在区域，例如伦敦区域需设置为eu-west-2；
• sync：是否同步S3文件（默认true），设置为false仅上传新文件。