riverisland/s3-resource-simple

Concourse CI的简单S3资源镜像

该镜像为Concourse CI提供S3资源支持，用于上传或下载多个文件到AWS S3。与官方S3资源相比，它支持多文件操作；与原版本相比，新增了通过AWS实例元数据获取IAM凭证、设置aws s3 sync工作目录的功能。

核心功能

• 上传/下载多个文件到S3存储
• 支持通过AWS实例元数据自动获取IAM角色凭证（无需手动配置密钥）
• 自定义aws s3 sync命令的工作目录
• 支持指定S3桶路径、同步选项及区域配置

使用场景

适用于Concourse CI流水线中，将构建产物（如artifacts、日志）上传到S3存储，或从S3下载依赖文件的场景，提升CI/CD流程的存储效率。

配置说明

资源类型定义

在流水线YAML中添加资源类型：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: riverisland/s3-resource-simple

资源配置

yaml
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}} # 可选，不填则使用实例元数据
    secret_access_key: {{aws-secret-key}} # 可选
    bucket: {{aws-bucket}} # 必选，S3桶名称
    path: [<可选，同步到桶的特定路径>]
    options: [<可选，AWS CLI sync选项>]
    region: <可选，桶所在区域>

任务示例

yaml
jobs:
- name: 上传产物到S3
  plan:
  - task: 构建产物
    image: <构建镜像>
    config:
      platform: linux
      outputs:
      - name: artifacts # 输出产物目录
  - put: storage # 上传到S3
    params:
      dir: artifacts # 指定同步目录

# 资源定义
- name: storage
  type: s3-resource-simple
  source:
    bucket: my-s3-bucket
    region: eu-west-2 # 示例区域

- name: s3-resource-simple
  type: docker-image
  source:
    repository: riverisland/s3-resource-simple

参数说明

• dir: 指定aws s3 sync的工作目录，需与任务输出目录一致。
• options: 支持AWS CLI s3 sync的过滤选项（如--exclude/--include），示例：

  yaml
  options:
  - "--exclude '*'"
  - "--include 'results/*'"
  

• region: 指定S3桶区域（如eu-west-2），用于支持需要Signature Version 4的区域。