sjback/s3-resource-simple

Concourse CI 简单S3资源

该镜像为Concourse CI的S3资源工具，用于在CI/CD流水线中上传或下载多个文件到AWS S3。与官方S3资源相比，它支持多文件同步操作，适配更灵活的文件管理场景。

核心功能

1. 多文件同步：支持批量上传或下载文件到S3存储桶；
2. 灵活过滤：通过options参数使用AWS CLI sync的过滤规则（如exclude/include），精准控制同步文件；
3. 凭证适配：可显式提供AWS访问密钥，或通过EC2元数据服务获取角色凭证；
4. 区域支持：指定S3存储桶所在区域，适配需Signature Version4的AWS区域（如伦敦）。

使用场景

• Concourse CI流水线中，将任务输出的多文件（如构建结果、日志）同步到S3存储桶；
• 从S3下载多文件（如依赖包、配置文件）用于后续流水线任务。

配置说明

资源类型定义

在Concourse Pipeline YAML中定义资源类型：

yaml
resource_types:
- name: s3-resource-simple
  type: docker-image
  source:
    repository: sjback/s3-resource-simple

资源配置

定义S3资源实例：

yaml
resources:
- name: my-s3-resource
  type: s3-resource-simple
  source:
    access_key_id: {{aws-access-key}} # 可选，未提供则从EC2元数据获取角色凭证
    secret_access_key: {{aws-secret-key}} # 可选
    bucket: {{aws-bucket}} # 目标S3存储桶名称
    path: "ci-results/" # 可选，同步到存储桶的指定路径（默认根目录）
    options: ["--exclude '*'", "--include 'results/*'"] # 可选，同步过滤规则
    region: eu-west-2 # 可选，存储桶所在区域（如伦敦需指定）

流水线任务示例

在任务中使用该资源上传文件：

yaml
jobs:
- name: upload-to-s3
  plan:
  - task: generate-results
    config:
      # 任务配置：生成需同步的文件（如results目录）
  - put: my-s3-resource
    params:
      file: results/ # 需同步的本地目录

关键参数说明

• options：与AWS CLI sync的选项一致，支持exclude/include过滤器（如仅同步results目录）；
• region：当存储桶位于需Signature Version4的区域时（如eu-west-2），需显式指定以确保兼容性；
• 凭证：若流水线运行在EC2实例上，可省略access_key_id和secret_access_key，通过IAM角色自动获取凭证。