dwpdigital/dataworks-s3-object-tagger

S3对象标签管理工具

镜像概述

该Docker镜像提供了一个用于自动为Amazon S3对象添加标签的应用程序，通过配置文件中定义的多种规则实现S3对象标签的批量管理和自动化操作。

核心功能与特性

• 规则驱动标签：支持基于多种规则（如对象名称模式、创建时间、文件类型、元数据等）为S3对象添加标签
• 配置文件管理：通过源配置文件（支持JSON、YAML等格式）定义标签规则和目标S3资源
• 批量处理：支持对指定S3桶或前缀下的多个对象进行批量标签操作
• AWS集成：无缝对接AWS S3服务，支持标准AWS凭证认证方式

使用场景

• S3对象的成本分配与追踪（通过标签实现成本中心划分）
• 基于标签的S3对象权限管理和访问控制
• 合规性与审计要求下的S3对象分类标记
• 自动化运维流程中S3对象的生命周期管理辅助

使用方法

前提条件

• 已安装Docker环境
• 拥有AWS访问凭证（具备S3读/写权限）
• 已准备标签规则配置文件

基本使用（docker run）

bash
docker run -d \
  -e AWS_ACCESS_KEY_ID="your-aws-access-key" \
  -e AWS_SECRET_ACCESS_KEY="your-aws-secret-key" \
  -e AWS_REGION="us-east-1" \
  -v /path/to/your/configs:/app/configs \
  --name s3-tag-manager \
  s3-tag-manager:latest

配置说明

环境变量

配置文件示例（rules.yaml）

yaml
rules:
  - name: "cost-center-tag"
    description: "Add cost center tag based on object prefix"
    s3_bucket: "my-bucket"
    s3_prefix: "finance/"
    tags:
      CostCenter: "finance-department"
      Environment: "production"
    conditions:
      object_prefix: "finance/"
      last_modified_after: "2023-01-01T00:00:00Z"

  - name: "file-type-tag"
    description: "Tag objects by file type"
    s3_bucket: "my-bucket"
    tags:
      FileType: "{{ file_extension }}"
    conditions:
      file_extensions: ["pdf", "docx", "xlsx"]

运行流程

1. 容器启动后，加载CONFIG_PATH目录下的所有配置文件
2. 解析配置文件中的标签规则
3. 根据规则筛选目标S3对象
4. 为符合条件的对象应用指定标签
5. 输出操作日志至标准输出