sothr/concourse-rclone-resource

concourse-rclone-resource

这是一个为Concourse CI设计的资源镜像，用于在CI/CD流水线中执行rclone命令，实现本地文件与远程存储服务的同步操作。可通过配置文件连接各类云存储（如Google Drive、AWS S3等），支持加密配置和灵活的同步参数。

核心功能

• 集成rclone工具，支持copy、move、sync等常用文件同步命令
• 允许配置加密的rclone配置文件，保障敏感信息安全
• 支持添加额外文件到指定目录，满足复杂场景需求
• 提供灵活的同步参数，如子目录指定、去重操作、链接生成等
• 支持多目标同步，允许部分目标失败不影响整体任务

使用场景

• CI/CD流水线中，将构建产物备份到远程存储服务
• 将发布文件同步到生产环境的存储服务
• 跨不同云存储服务之间的数据迁移或同步
• 定期同步指定目录到远程备份存储

配置说明

资源类型配置

bash
resource_types:
- name: rclone
  type: docker-image
  source:
    repository: sothr/concourse-rclone-resource
    tag: latest

源配置

• config：必填，rclone配置文件内容。
• password：可选，加密rclone配置的密码，建议使用 secrets 管理工具存储。
• files：可选，需写入/tmp/rclone目录的额外文件，键为文件名，值为文件内容。

源配置示例

bash
resources:
- name: rclone
  type: rclone
  source:
    config: |
      [remote]
      client_id = <你的ID>
      client_secret = <你的密钥>
      scope = drive
      root_folder_id = <你的根文件夹ID>
      service_account_file = /tmp/rclone/serviceAccountFile
      token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"2014-03-16T13:57:58.955387075Z"}
    files:
      serviceAccountFile: |
        ...文件内容...

行为说明

• check：无操作（No-Op）。
• in：无操作（No-Op）。
• out：执行rclone命令，实现文件同步。

Out参数说明

• source：必填，源文件路径。
• destination：必填，同步目标列表，每个目标包含以下参数：
  • dir：必填，rclone目标路径（如remote:some/location）。
  • subdir：可选，附加到目标路径的子目录文件路径。
  • command：可选，rclone命令（默认copy，支持copyto、move、sync）。
  • args：可选，传递给rclone的额外参数数组。
  • dedupe：可选，同步后执行去重操作（默认false）。
  • dedupeMode：可选，去重模式（默认newest，支持skip、first、oldest、largest、rename）。
  • link：可选，生成资源链接（默认false）。
  • linkFilter：可选，生成链接的文件过滤规则（默认-maxdepth 1 -type f）。
  • allowFailure：可选，允许该目标失败不影响任务（默认false）。
  • sleep：可选，每个rclone命令后休眠的秒数。
• linkDestination：可选，存储生成链接数据的rclone路径。
• linkDestinationSubDir：可选，附加到linkDestination的子目录文件路径。

Out示例

bash
# 扩展源配置示例中的流水线
jobs:
- name: sync-files
  plan:
  - do:
    - get: code # git资源
    - put: rclone
      params:
        source: code
        destination: 
          - dir: "remote:backup"
            subdir: code/target
          - dir: "remote2:release"

许可证

Copyright 2020 Drew Short

本镜像基于Apache License 2.0许可协议发布，详情请参见Apache License 2.0。