18fgsa/s3-resource-simple

Simple S3 Resource for Concourse CI

镜像概述和主要用途

该镜像为Concourse CI提供S3资源类型，用于与Amazon S3进行文件交互。与https://github.com/concourse/s3-resource%E4%B8%8D%E5%90%8C%EF%BC%8C%E6%9C%AC%E8%B5%84%E6%BA%90%E6%94%AF%E6%8C%81%E4%B8%8A%E4%BC%A0%E6%88%96%E4%B8%8B%E8%BD%BD%E5%A4%9A%E4%B8%AA%E6%96%87%E4%BB%B6%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E9%9C%80%E8%A6%81%E6%89%B9%E9%87%8F%E5%A4%84%E7%90%86S3%E6%96%87%E4%BB%B6%E7%9A%84CI/CD%E6%B5%81%E6%B0%B4%E7%BA%BF%E5%9C%BA%E6%99%AF%E3%80%82

核心功能和特性

• 多文件支持：可同时上传或下载多个文件，满足批量文件处理需求
• 灵活的AWS凭证配置：支持通过访问密钥或EC2角色凭证进行身份验证
• S3 Sync选项兼容：支持aws cli中s3 sync命令的所有选项，可精确控制文件同步规则
• 区域指定：支持显式指定AWS区域，适配需要特定签名版本的区域（如伦敦区域需AWS Signature Version 4）

使用场景和适用范围

适用于Concourse CI流水线中需要与S3进行批量文件同步的场景，例如：

• 静态网站资源部署
• 测试结果或构建产物备份
• 跨环境文件传输
• 需要按规则筛选文件的同步任务

使用方法和配置说明

基本配置

在Pipeline YAML文件中添加以下配置，替换尖括号(<>)中的占位符：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: 18fgsa/s3-resource-simple
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}}  # AWS访问密钥ID
    secret_access_key: {{aws-secret-key}}  # AWS密钥
    bucket: {{aws-bucket}}  # S3存储桶名称
    path: [<可选，指定存储桶中的特定路径，默认同步到根目录>]
    options: [<可选，详见下方说明>]
    region: <可选，指定存储桶所在区域>
jobs:
- name: <任务名称>
  plan:
  - <生成文件的资源或任务>
  - put: <资源名称>  # 执行文件上传

AWS凭证配置

access_key_id和secret_access_key为可选参数。若未提供，资源将通过EC2 Metadata服务查询基于角色的凭证，适用于已配置IAM角色的EC2环境。

同步选项（Options）

options参数与aws cli的s3 sync命令选项完全兼容，具体可参考S3 Sync选项文档，特别注意排除和包含过滤器的使用。

示例：仅上传test/results目录下的文件
假设有以下目录结构：

test
├── results
│   ├── 1.json
│   └── 2.json
└── scripts
    └── bad.sh

配置options以排除所有文件，仅包含results目录：

yaml
options:
- "--exclude '*'"
- "--include 'results/*'"

区域（Region）

部分AWS区域（如伦敦）需要使用AWS Signature Version 4。通过region参数可显式指定存储桶所在区域，设置后将自动配置AWS_DEFAULT_REGION环境变量。

示例：指定伦敦区域（eu-west-2）

yaml
region: eu-west-2