elementinsurance/s3-resource-simple

Concourse CI 简单S3资源镜像

镜像概述

本镜像为Concourse CI提供轻量的S3资源支持，与官方S3资源相比，核心特性是支持批量上传/下载文件，满足CI/CD流水线中批量同步文件到AWS S3的需求。

核心功能

1. 批量上传/下载文件至AWS S3
2. 支持AWS角色凭证（EC2 Metadata服务）或显式访问密钥两种认证方式
3. 兼容AWS CLI s3 sync命令的选项，可通过过滤规则控制同步范围
4. 支持指定AWS区域，适配需要Signature Version 4的区域（如伦敦）

使用场景

• CI/CD流水线中同步构建产物（如二进制文件、测试报告）到S3存储
• 从S3下载依赖包或配置文件到Concourse任务环境

配置说明

资源类型定义

在流水线YAML中添加资源类型：

yaml
resource_types:
- name: s3-resource-simple
  type: docker-image
  source:
    repository: elementinsurance/s3-resource-simple

资源配置

定义S3资源实例：

yaml
resources:
- name: my-s3-resource
  type: s3-resource-simple
  source:
    access_key_id: {{aws-access-key}}  # 可选，未提供则使用EC2角色凭证
    secret_access_key: {{aws-secret-key}}  # 可选
    bucket: my-target-bucket  # S3桶名称
    path: "build-artifacts/"  # 可选，桶内目标路径
    options: ["--exclude '*'", "--include '*.jar'"]  # 可选，过滤规则
    region: eu-west-2  # 可选，指定桶所在区域

作业使用示例

在流水线作业中同步文件：

yaml
jobs:
- name: upload-build-artifacts
  plan:
  - get: build-output  # 获取构建产物
  - put: my-s3-resource  # 上传到S3

关键参数说明

AWS凭证

若Concourse运行在AWS EC2实例上，可省略access_key_id和secret_access_key，镜像会自动通过EC2 Metadata服务获取角色凭证。

同步选项

通过options参数可使用AWS CLI s3 sync的过滤规则，例如仅同步.jar文件：

yaml
options:
- "--exclude '*'"
- "--include '*.jar'"

区域设置

对于需要Signature Version 4的区域（如伦敦），需指定region参数以确保正确认证：

yaml
region: eu-west-2