sarquella/gcs-resource

GCS Resource

该镜像为Concourse CI/CD管道提供Google Cloud Storage（GCS）资源支持，基于官方S3资源实现，可对GCS桶中的文件进行版本管理（提取、上传、下载）及初始版本配置。

镜像概述

GCS Resource通过匹配文件名模式识别版本号，对GCS桶中的对象进行版本化管理，支持语义版本或数字版本，适用于CI/CD流程中资源的发布与获取。

核心功能

1. 版本提取（check）：通过配置的正则表达式或版本化文件路径，从GCS桶中提取文件版本并排序。
2. 文件下载（in）：从GCS桶获取指定版本的文件，支持跳过下载、解压归档文件等参数。
3. 文件上传（out）：将任务输出的文件上传至GCS桶，支持预定义ACL、内容类型、缓存控制等设置。
4. 初始版本设置：在无资源版本时，可配置初始版本的路径、版本号及内容（文本或Base64编码的二进制）。

使用场景

• CI/CD管道中，将构建产物上传至GCS桶并版本化管理。
• 从GCS桶获取指定版本的资源（如依赖包、配置文件）用于后续任务。
• 初始化Concourse资源版本，确保管道首次运行时的资源可用性。

配置说明

源配置（Source Configuration）

• bucket（必填）：GCS桶名称。
• json_key（必填）：GCS服务账号JSON密钥内容，示例：

  yaml
  json_key: |
    {
      "private_key_id": "...",
      "private_key": "...",
      "client_email": "...",
      "client_id": "...",
      "type": "service_account"
    }
  

• 文件命名选项（二选一）：
  • regexp：匹配文件名的正则表达式，通过捕获组提取版本（优先使用名为version的组）。
  • versioned_file：启用GCS桶版本化后，指定文件路径以管理同一文件名的不同版本。
• 初始状态选项（可选）：
  • 与regexp配合：initial_path（初始版本文件路径）。
  • 与versioned_file配合：initial_version（初始版本号）。
  • 初始内容设置：initial_content_text（文本内容）或initial_content_binary（Base64编码的二进制内容）。

行为参数

check：提取桶中的版本

根据regexp或versioned_file配置识别文件版本，按语义版本排序。

in：从桶中获取文件

输出文件包括：目标文件、URL文件、版本文件（仅regexp时）、生成号文件（仅versioned_file时）。
参数：

• skip_download：是否跳过下载（默认false）。
• unpack：是否解压归档文件（tar、gz、zip等，默认false）。

out：上传文件至桶

参数：

• file（必填）：待上传的文件路径（支持glob匹配，需唯一）。
• predefined_acl：预定义ACL（可选，如publicRead、private等）。
• content_type：文件MIME类型（可选）。
• cache_control：缓存控制指令（可选）。

部署示例

资源类型配置

yaml
resource_types:
  - name: gcs-resource
    type: docker-image
    source:
      repository: sarquella/gcs-resource

资源配置

yaml
resources:
  - name: release
    type: gcs-resource
    source:
      bucket: releases
      json_key: <GCS服务账号JSON密钥内容>
      regexp: directory_on_gcs/release-(.*).tgz

计划配置

获取资源

yaml
- get: release

上传资源

yaml
- put: release
  params:
    file: path/to/release-*.tgz
    predefined_acl: publicRead
    content_type: application/octet-stream
    cache_control: max-age=3600