davidb31/s3-resource-simple

Concourse CI 简单 S3 资源镜像

镜像概述

这是一个用于Concourse CI的S3资源镜像，实现与AWS S3之间的多文件上传和下载。与官方S3资源相比，它支持批量文件操作，且是18F/s3-resource-simple的fork版本，新增了工作目录指定、同步选项拼接等功能支持。

核心功能

• 支持多文件上传与下载
• 允许指定上传/下载的工作目录
• 支持AWS角色凭证（无需显式提供access_key_id和secret_access_key）
• 可自定义AWS S3 sync命令的选项
• 支持指定AWS区域（适配需要Signature Version 4的区域）

使用场景

1. CI/CD流程中，将构建产物（如应用包、测试报告）上传至S3存储
2. 从S3下载依赖文件或配置资源到Concourse CI任务环境
3. 同步指定目录下的文件到S3桶的特定路径

配置说明

在Pipeline YAML文件中添加以下配置（替换尖括号中的值）：

yaml
resource_types:
- name: s3-sync
  type: docker-image
  source:
    repository: davidb31/s3-resource-simple
resources:
- name: <资源名称>
  type: s3-sync
  source:
    access_key_id: ((aws-access-key))
    secret_access_key: ((aws-secret-key))
    bucket: ((aws-bucket))
    path: [<可选，同步到桶的特定路径而非根目录>]
    options: [<可选，见下方说明>]
    region: <可选，见下方说明>
jobs:
- name: <任务名称>
  plan:
  - <输出文件的资源或任务>
  - put: <资源名称>
    params:
      options: [<可选，见下方说明>]
      dir: <可选，见下方说明>

AWS凭证

access_key_id和secret_access_key为可选参数，若未提供，将从EC2 Metadata服务查询角色凭证。

options参数

与aws cli的sync命令选项一致，最终选项为资源源配置和put参数中options的拼接。详情参考AWS S3 Sync选项。

dir参数

用于指定从工作目录的子文件夹上传文件。例如，上传results子目录：

yaml
- put: "results-bucket"
  params:
    dir: 'results'

region参数

用于指定桶所在的AWS区域（如伦敦区域eu-west-2），设置后会自动配置AWS_DEFAULT_REGION环境变量。

yaml
region: eu-west-2