chillbrodev/s3-resource-simple

Concourse CI 简单S3资源镜像

镜像概述

本镜像为Concourse CI提供S3资源支持，可实现批量上传或下载文件到AWS S3。与官方S3资源相比，它支持多文件同步操作，更灵活地满足CI/CD流水线中的文件处理需求。

核心功能

• 批量上传/下载文件到S3桶
• 支持AWS访问密钥或EC2角色凭证认证
• 可配置上传/下载选项（基于AWS CLI sync命令）
• 支持指定AWS区域以适配不同区域的S3桶

使用场景

• CI流水线中上传构建产物（如二进制文件、报告）到S3存储
• 从S3下载依赖文件或配置到CI任务环境
• 同步指定路径下的文件到S3桶的特定目录

配置说明

流水线配置示例

在Concourse CI流水线YAML中添加以下配置（替换尖括号中的值）：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: chillbrodev/s3-resource-simple
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}}
    secret_access_key: {{aws-secret-key}}
    bucket: {{aws-bucket}}
    path: [<可选，指定桶内路径>]
    uploadOptions: [<可选，上传选项>]
    downloadOptions: [<可选，下载选项>]
    region: <可选，指定区域>
jobs:
- name: <任务名称>
  plan:
  - <生成文件的资源/任务>
  - put: <资源名称>

AWS凭证配置

access_key_id和secret_access_key可选，未提供时将从EC2元数据服务获取角色凭证。

上传/下载选项

uploadOptions/downloadOptions对应AWS CLI的s3 sync选项，参考AWS文档。示例：

• 仅上传results目录：

  yaml
  uploadOptions: ["--exclude '*'", "--include 'results/*'"]
  

• 排除所有下载：

  yaml
  downloadOptions: ["--exclude '*'"]
  

区域配置

指定桶所在区域（如伦敦eu-west-2），自动设置AWS_DEFAULT_REGION环境变量：

yaml
region: eu-west-2