maomishen/s3-resource-simple

Concourse CI 的简单 S3 资源

该资源用于向S3上传文件。与https://github.com/concourse/s3-resource不同，此资源可以上传或下载多个文件。

基于awscli https://pypi.org/project/awscli/，使用Python 3.7.3的Docker环境构建。Docker资产文件通过https://concourse-ci.org/implementing-resource-types.html创建。

核心功能

• 支持多文件上传与下载
• 兼容AWS CLI的同步选项
• 可配置日志上传路径
• 支持EC2角色凭证自动获取
• 可指定S3存储桶区域

使用场景

适用于Concourse CI流水线中需要与AWS S3交互的场景，例如：

• 上传构建产物到S3存储桶
• 从S3下载依赖文件或配置
• 同步指定目录的文件到S3
• 上传流水线日志到S3存档

配置说明

资源类型定义

在流水线YAML文件中包含以下内容，替换尖括号<>中的值：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: maomishen/s3-resource-simple
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}}
    secret_access_key: {{aws-secret-key}}
    bucket: {{aws-bucket}}
    archive: [<可选，存档构建JSON文件默认'finished'文件夹>]
    moveto: [<可选，移动下载文件到S3的'building'文件夹>]
    outpath: [<可选，与YAML outputs值相同>]
    options: [<可选，见下方说明>]
    region: <可选，见下方>
    path: [<可选，默认根文件夹>]
    fetch: [<可选，下载文件默认true>]
    logpath: [<可选，上传日志的本地路径>]
    s3logpath: [<可选，S3日志文件夹默认'log'>]
jobs:
- name: <任务名称>
  plan:
  - <输出文件的资源或任务>
  - put: <资源名称>

AWS凭证

access_key_id和secret_access_key可选，未提供时将查询EC2元数据服务获取角色凭证。

选项

options参数与aws cli sync命令选项同义，参考http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html#options及http://docs.aws.amazon.com/cli/latest/reference/s3/index.html#use-of-exclude-and-include-filters。

示例：仅上传results子目录

yaml
options:
- "--exclude '*'"
- "--include 'results/*'"

区域

指定存储桶所在区域（如伦敦需版本4签名）：

yaml
region: eu-west-2