justonecommand/s3-sync

Concourse CI的S3同步资源镜像

基于https://github.com/18F/s3-resource-simple%E7%9A%84%E5%B7%A5%E4%BD%9C

这是18F/s3-resource-simple的替代资源，可直接替换使用。

该资源用于向S3上传文件，与官方S3资源不同的是，它支持上传或下载多个文件。同步过程使用S3中的最后修改时间来协调构建，确保下游资源能访问数据。

核心功能

• 支持上传/下载多个文件到S3存储桶
• 可通过AWS访问密钥或EC2角色凭证认证
• 允许指定存储桶路径进行同步
• 支持AWS CLI s3 sync的过滤选项（如排除/包含特定文件）
• 可显式指定AWS区域以适配不同区域的存储桶

使用场景

• Concourse CI流水线中构建产物的批量上传
• 静态网站资源的S3部署
• 多文件数据的S3备份与同步

配置说明

资源类型定义

在流水线YAML文件中添加以下配置（替换尖括号中的值）：

yaml
resource_types:
- name: <资源类型名称>
  type: docker-image
  source:
    repository: justonecommand/s3-sync

资源定义

yaml
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{aws-access-key}} # 可选，未提供则使用EC2角色凭证
    secret_access_key: {{aws-secret-key}} # 可选
    bucket: {{aws-bucket}} # 目标S3存储桶名称
    path: [<可选，指定存储桶内的同步路径，默认根目录>]
    options: [<可选，参考AWS CLI sync选项>]
    region: <可选，指定存储桶所在区域>

作业配置示例

yaml
jobs:
- name: <作业名称>
  plan:
  - <输出文件的资源或任务>
  - put: <资源名称> # 同步文件到S3

AWS凭证说明

access_key_id和secret_access_key为可选参数，若未提供，将查询EC2元数据服务获取角色凭证。

过滤选项示例

假设目录结构如下：

test
├── results
│   ├── 1.json
│   └── 2.json
└── scripts
    └── bad.sh

仅上传results子目录的配置：

yaml
options:
- "--exclude '*'"
- "--include 'results/*'"

区域配置

对于需要AWS签名版本4的区域（如伦敦），可显式指定区域：

yaml
region: eu-west-2

（指定后将设置AWS_DEFAULT_REGION环境变量）