18fgsa/s3-resource-simple

Simple S3 Resource for Concourse CI

镜像概述和主要用途

该镜像为Concourse CI提供S3资源类型，用于与Amazon S3进行文件交互。与https://github.com/concourse/s3-resource不同，本资源支持上传或下载多个文件，适用于需要批量处理S3文件的CI/CD流水线场景。

核心功能和特性

• 多文件支持：可同时上传或下载多个文件，满足批量文件处理需求
• 灵活的AWS凭证配置：支持通过访问密钥或EC2角色凭证进行身份验证
• S3 Sync选项兼容：支持aws cli中s3 sync命令的所有选项，可精确控制文件同步规则
• 区域指定：支持显式指定AWS区域，适配需要特定签名版本的区域（如伦敦区域需AWS Signature Version 4）

使用场景和适用范围

适用于Concourse CI流水线中需要与S3进行批量文件同步的场景，例如：

• 静态网站资源部署
• 测试结果或构建产物备份
• 跨环境文件传输
• 需要按规则筛选文件的同步任务

使用方法和配置说明

基本配置

在Pipeline YAML文件中添加以下配置，替换尖括号(<>)中的占位符：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: 18fgsa/s3-resource-simple
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}}  # AWS访问密钥ID
    secret_access_key: {{aws-secret-key}}  # AWS密钥
    bucket: {{aws-bucket}}  # S3存储桶名称
    path: [<可选，指定存储桶中的特定路径，默认同步到根目录>]
    options: [<可选，详见下方说明>]
    region: <可选，指定存储桶所在区域>
jobs:
- name: <任务名称>
  plan:
  - <生成文件的资源或任务>
  - put: <资源名称>  # 执行文件上传

AWS凭证配置

access_key_id和secret_access_key为可选参数。若未提供，资源将通过EC2 Metadata服务查询基于角色的凭证，适用于已配置IAM角色的EC2环境。

同步选项（Options）

options参数与aws cli的s3 sync命令选项完全兼容，具体可参考http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html#options，特别注意http://docs.aws.amazon.com/cli/latest/reference/s3/index.html#use-of-exclude-and-include-filters。

示例：仅上传test/results目录下的文件
假设有以下目录结构：

test
├── results
│   ├── 1.json
│   └── 2.json
└── scripts
    └── bad.sh

配置options以排除所有文件，仅包含results目录：

yaml
options:
- "--exclude '*'"
- "--include 'results/*'"

区域（Region）

部分AWS区域（如伦敦）需要使用AWS Signature Version 4。通过region参数可显式指定存储桶所在区域，设置后将自动配置AWS_DEFAULT_REGION环境变量。

示例：指定伦敦区域（eu-west-2）

yaml
region: eu-west-2