jnig/s3-resource-simple

Concourse CI 简单 S3 资源镜像

该镜像为Concourse CI提供轻量的S3资源支持，用于在CI流水线中批量上传或下载文件到AWS S3存储桶。相比官方S3资源，它更灵活地支持多文件同步操作。

核心功能

• 批量同步文件到S3存储桶（上传/下载）
• 支持指定存储桶内目标路径
• 通过过滤选项精准控制同步的文件范围
• 自动从EC2元数据服务获取角色凭证（无需显式配置密钥）
• 适配不同AWS区域的存储桶（支持Signature Version 4）

使用场景

适用于Concourse CI流水线中以下场景：

• 同步构建产物到S3进行持久化存储
• 下载S3中的依赖文件或配置到流水线环境
• 备份流水线日志文件到S3

配置说明

资源类型定义

在流水线YAML中添加资源类型：

yaml
resource_types:
- name: s3-resource-simple
  type: docker-image
  source:
    repository: jnig/s3-resource-simple

资源配置

定义S3资源实例：

yaml
resources:
- name: my-s3-resource
  type: s3-resource-simple
  source:
    access_key_id: {{aws-access-key}} # 可选，未提供则使用EC2角色凭证
    secret_access_key: {{aws-secret-key}} # 可选
    bucket: my-ci-bucket # 目标S3存储桶名称
    path: ci-artifacts/ # 可选，存储桶内的目标路径
    options: ["--exclude '*'","--include '*.jar'"] # 可选，文件过滤规则
    region: eu-west-2 # 可选，存储桶所在区域

流水线任务配置

在任务中使用该资源同步文件：

yaml
jobs:
- name: build-and-upload
  plan:
  - task: build-app
    config:
      # 构建任务配置（示例）
      platform: linux
      image_resource:
        type: docker-image
        source: {repository: openjdk, tag: 17}
      outputs:
      - name: build
      run:
        path: sh
        args: ["-c", "mkdir -p build/output && echo 'app.jar' > build/output/app.jar"]
  - put: my-s3-resource
    params:
      dir: build/output # 同步build/output目录下的文件到S3

过滤选项示例

仅同步results目录下的JSON文件：

yaml
options:
- "--exclude '*'"
- "--include 'results/*.json'"

区域配置说明

对于需要Signature Version 4的区域（如伦敦eu-west-2），需显式指定区域以确保兼容：

yaml
region: eu-west-2