mookas/s3-resource-simple

Concourse CI的简易S3资源镜像

镜像概述

这是Concourse CI的资源镜像，用于上传或下载多个文件到S3存储服务。与官方S3资源不同，本镜像支持批量文件的同步操作，同时兼容Minio存储。

核心功能

• 支持S3和Minio存储服务
• 批量上传/下载文件
• 支持AWS角色凭证（无需显式提供access_key_id和secret_access_key）
• 自定义AWS CLI sync选项（如过滤文件）
• 可指定AWS区域（用于需要Signature Version 4的区域）

使用场景

适用于Concourse CI流水线中，将构建产物、测试结果等文件同步到S3或Minio存储的场景。

配置说明

AWS S3配置示例

在流水线YAML文件中添加以下配置：

yaml
resource_types:
- name: s3-resource-simple
  type: docker-image
  source:
    repository: making/s3-resource-simple
resources:
- name: my-s3-resource
  type: s3-resource-simple
  source:
    access_key_id: {{aws-access-key}}
    secret_access_key: {{aws-secret-key}}
    bucket: {{aws-bucket}}
    path: [<可选，指定桶内路径，默认根目录>]
    options: [<可选，参考AWS CLI sync选项>]
    region: <可选，指定区域>
jobs:
- name: upload-files
  plan:
  - <生成文件的资源或任务>
  - put: my-s3-resource

Minio配置示例

yaml
resource_types:
- name: s3-resource-simple
  type: docker-image
  source:
    repository: making/s3-resource-simple
resources:
- name: my-minio-resource
  type: s3-resource-simple
  source:
    access_key_id: {{minio-access-key}}
    secret_access_key: {{minio-secret-key}}
    bucket: {{minio-bucket}}
    endpoint: {{minio-endpoint-url}}
    use_v4: true
    path: [<可选，指定桶内路径>]
    options: [<可选>]
jobs:
- name: upload-to-minio
  plan:
  - <生成文件的步骤>
  - put: my-minio-resource

AWS凭证说明

access_key_id和secret_access_key为可选参数，若未提供，将从EC2元数据服务获取角色凭证。

同步选项说明

options参数与AWS CLI的s3 sync选项一致，可用于过滤文件。例如，仅上传results目录下的文件：

yaml
options:
  - "--exclude '*'"
  - "--include 'results/*'"

区域说明

对于需要AWS Signature Version 4的区域（如伦敦），可通过region参数指定桶所在区域，该参数会设置AWS_DEFAULT_REGION环境变量：

yaml
region: eu-west-2