fidelityinternational/s3-encrypt-resource

S3 Encrypt Resource (Concourse CI)

镜像概述和主要用途

该镜像为Concourse CI提供S3加密资源，用于在CI/CD流水线中上传或下载GPG加密文件到S3存储。与官方S3资源不同，它通过aws s3 sync命令支持多文件同步操作，并提供灵活的配置选项以适应不同场景需求。

核心功能和特性

• 多文件同步：使用aws s3 sync命令批量处理文件，支持上传/下载多个文件
• 默认删除行为：同步操作默认使用--delete标志，确保目标端删除源端不存在的文件，可通过no_delete选项禁用
• MinIO兼容：支持MinIO对象存储，通过配置endpoint和use_v4参数实现兼容
• AWS凭证灵活性：支持显式提供access_key_id和secret_access_key，或通过EC2 Metadata服务获取基于角色的凭证
• 文件筛选：通过path和suffix参数筛选特定路径和后缀的文件，无需指定.gpg扩展名
• 路径检查控制：可选fail_on_missing_path参数，控制路径不存在时是否报错（默认不报错）
• AWS CLI选项支持：通过options参数传递aws s3 sync命令的额外选项，支持高级筛选和配置

使用场景和适用范围

适用于Concourse CI流水线中需要加密同步多个文件到S3或MinIO的场景，例如：

• 备份CI/CD流程中的状态文件（如BOSH状态文件）
• 加密分发配置文件或敏感数据
• 跨环境同步加密资产

使用方法和配置说明

基本配置

1. 定义资源类型

在Pipeline YAML中声明资源类型：

yaml
resource_types:
- name: <资源类型名称>  # 自定义资源类型名称，如"s3-encrypt"
  type: docker-image
  source:
    repository: paasmule/s3-encrypt-resource

2. 定义资源

配置S3或MinIO连接信息：

yaml
resources:
- name: <资源名称>  # 自定义资源名称，如"encrypted-s3-files"
  type: <资源类型名称>  # 引用上述定义的资源类型名称
  source:
    access_key_id: {{aws-access-key}}  # 可选，AWS/MinIO访问密钥ID
    secret_access_key: {{aws-secret-key}}  # 可选，AWS/MinIO密钥
    bucket: {{aws-bucket}}  # 存储桶名称
    encryption_key: {{encryption_key}}  # GPG加密密钥
    no_delete: true  # 可选，是否禁用--delete标志，默认false

作业计划配置

获取文件（get操作）

从S3下载加密文件：

yaml
jobs:
- name: <作业名称>  # 如"download-encrypted-files"
  plan:
  - get: <资源名称>  # 引用上述定义的资源名称
    params:
      path: <桶中具体路径>  # 从桶根目录开始的路径，如"bosh-states"
      suffix: <文件名后缀>  # 筛选文件的后缀，如"-state.json"
      fail_on_missing_path: false  # 可选，路径不存在时是否失败，默认false

上传文件（put操作）

向S3上传加密文件：

yaml
jobs:
- name: <作业名称>  # 如"upload-encrypted-files"
  plan:
  - <生成文件的资源或任务>  # 例如从Git仓库获取文件或执行任务生成文件
  - put: <资源名称>  # 引用上述定义的资源名称
    params:
      path: <桶中具体路径>  # 上传到桶的目标路径，如"bosh-states"
      suffix: <文件名后缀>  # 筛选要上传的文件后缀，如"-state.json"

MinIO配置

使用MinIO时，需在资源source中添加端点和签名版本配置：

yaml
resources:
- name: <资源名称>
  type: <资源类型名称>
  source:
    access_key_id: {{minio-access-key}}
    secret_access_key: {{minio-secret-key}}
    bucket: {{minio-bucket}}
    encryption_key: {{encryption_key}}
    endpoint: {{minio-endpoint-url}}  # MinIO服务端点URL，如"http://minio:9000"
    use_v4: true  # 启用S3 v4签名算法（MinIO要求）

AWS凭证说明

access_key_id和secret_access_key为可选参数。若未提供，资源将自动通过EC2 Metadata服务查询当前EC2实例的IAM角色凭证，适用于已配置IAM角色的环境。

高级筛选示例

假设有以下目录结构：

bosh-states
  ├── 1.json.gpg
  └── 2.json.gpg
scripts
  └── bad.sh

下载特定文件

仅下载bosh-states目录中后缀为-state.json的文件（无需指定.gpg扩展名）：

yaml
plan:
- get: minio-s3
  params:
    path: bosh-states
    suffix: "-state.json"

上传特定文件

仅上传bosh-states目录中后缀为-state.json的文件：

yaml
ensure:
  put: minio-s3
  params:
    path: bosh-states
    suffix: "-state.json"

AWS CLI同步选项

options参数可传递aws s3 sync命令的额外选项，例如排除特定文件：

yaml
params:
  path: bosh-states
  options: "--exclude '*.log'"  # 排除.log文件

详细选项参考AWS S3 Sync文档。