buildo/concourse-s3-sync

S3 Sync资源镜像

镜像概述

该镜像为Concourse CI/CD平台提供S3同步资源，用于在CI/CD管道中实现本地文件与AWS S3存储桶之间的双向同步操作，支持文件的上传、下载及版本检查功能。

核心功能

• 检查S3桶中文件的最新修改时间，作为版本标识
• 将S3存储桶中的内容同步到本地目录
• 将本地目录的内容同步到S3存储桶
• 支持AWS CLI的多种认证机制（访问密钥、环境变量、IAM角色等）
• 可自定义S3同步命令的参数选项

使用场景

• 在CI/CD管道中，将构建生成的产物（如二进制文件、静态网页）上传到S3存储桶
• 从S3存储桶获取依赖文件或配置资源，用于构建过程
• 定期同步S3桶中的内容到本地进行备份或分析

配置说明

源配置（Source Configuration）

• access_key_id: AWS访问密钥ID（可选，若未提供则使用其他认证方式）
• secret_access_key: AWS秘密访问密钥（可选）
• region_name: S3桶所在的AWS区域，默认值为"us-east-1"
• bucket: 目标S3桶的名称
• path: S3桶内的同步路径，若需同步桶根目录则设为空字符串
• options: AWS S3同步命令的参数列表，参考AWS S3同步文档

若未提供access_key_id和secret_access_key，AWS CLI会自动使用其他认证机制（如环境变量、IAM角色等），详见AWS配置优先级

行为（Behaviour）

check: 检查最新修改的文件

以S3桶中文件的最近LastModified时间戳作为最新版本标识。
参数：无

in: 将S3内容同步到本地

参数：

• dest: 本地同步目标路径（相对于工作目录，若省略则使用工作目录）
• skip_download: 若设为true，则跳过从S3下载内容（仅在put操作中通过get_params设置时有用，避免隐式get操作下载桶内容）

out: 将本地内容同步到S3

参数：

• source: 本地同步源路径（相对于工作目录，若省略则使用工作目录）

部署示例（Concourse Pipeline资源配置）

yaml
resources:
- name: s3-sync-resource
  type: docker-image
  source:
    repository: buildo/concourse-s3-sync
    tag: latest

- name: my-s3-bucket
  type: s3-sync-resource
  source:
    access_key_id: ((aws-access-key))
    secret_access_key: ((aws-secret-key))
    region_name: cn-north-1
    bucket: my-build-artifacts
    path: ci-builds/
    options: ["--delete"] # 同步时删除S3中不存在的本地文件