defsol/s3-resource-simple

Concourse CI的简单S3资源镜像

镜像概述

该镜像为Concourse CI提供轻量的S3资源类型，用于在CI/CD流程中与AWS S3服务交互。与官方S3资源相比，它支持多文件/文件夹的批量上传与下载，满足更灵活的文件同步需求。

核心功能

• 批量处理文件/文件夹的上传与下载
• 支持两种AWS凭证获取方式：显式密钥或EC2角色凭证
• 兼容AWS CLI sync命令的过滤选项
• 适配不同AWS区域的签名版本要求

使用场景

• 同步CI构建产物（如静态网站、编译包）到S3存储桶
• 从S3下载依赖文件或配置到CI任务环境
• 备份CI流程中的中间结果到S3

配置说明

资源类型定义

在Concourse Pipeline YAML中添加资源类型：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: defsol/s3-resource-simple

资源定义

配置S3资源实例：

yaml
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}}  # 可选，未提供则从EC2元数据获取
    secret_access_key: {{aws-secret-key}}  # 可选
    bucket: {{aws-bucket}}  # 目标S3存储桶
    path: [<可选，存储桶内路径，默认根目录>]
    options: [<可选，参考AWS CLI sync选项>]
    region: <可选，存储桶所在区域>

作业配置示例

在作业中使用资源上传文件：

yaml
jobs:
- name: <作业名称>
  plan:
  - <生成文件的任务/资源>
  - put: <资源名称>  # 执行文件上传

凭证说明

未显式提供密钥时，镜像将通过EC2元数据服务获取角色凭证，适用于AWS EC2上的Concourse部署。

过滤选项示例

仅上传results目录下的文件：

yaml
options:
- "--exclude '*'"
- "--include 'results/*'"

区域配置

针对需要Signature Version 4的区域（如伦敦）：

yaml
region: eu-west-2