portworx/pds-mutator

PDS Mutator Docker镜像文档

1. 镜像概述

PDS Mutator Docker镜像是一个专为PDS（个人数据存储）系统设计的数据处理工具容器，旨在提供便捷的数据修改、转换与定制化能力。通过容器化部署，简化了在PDS环境中进行数据处理的配置与运维流程，支持快速集成到现有PDS架构，满足个性化数据管理需求。

2. 核心功能与特性

• 数据修改能力：支持对PDS中存储的数据进行字段更新、格式转换、内容过滤等操作
• 容器化部署：基于Docker封装，无需复杂依赖配置，可快速启动和集成至PDS环境
• 灵活配置：通过环境变量或配置文件自定义数据处理规则，适配不同场景需求
• 兼容性：适配主流PDS系统接口规范，确保数据处理过程的稳定性与一致性
• 轻量高效：优化资源占用，支持批量数据处理，提升PDS数据管理效率

3. 使用场景与适用范围

• PDS数据定制化：对个人数据存储中的用户信息、文件元数据等进行个性化修改
• 数据格式转换：将PDS中的数据在JSON、XML、CSV等格式间进行转换
• 数据清洗与优化：批量处理PDS中冗余或格式不规范的数据，提升数据质量
• 开发测试环境：模拟PDS数据场景，生成定制化测试数据用于功能验证

4. 使用方法与配置说明

4.1 基本部署（docker run命令）

bash
docker run -d --name pds-mutator \
  -e PDS_ENDPOINT=http://pds-server:8080 \  # PDS服务访问地址（必填）
  -e MUTATE_RULE=/config/rule.json \       # 数据处理规则文件路径（必填）
  -e LOG_LEVEL=INFO \                      # 日志级别（可选，默认INFO）
  -v /local/path/to/rules:/config \        # 挂载本地规则文件目录
  pds-mutator:latest

4.2 环境变量配置

4.3 数据处理规则文件示例（rule.json）

json
{
  "version": "1.0",
  "operations": [
    {
      "action": "update_field",       // 操作类型：更新字段
      "target": "user.profile",       // 目标数据路径
      "field": "name",                // 字段名
      "value": "{{original_name}}_modified"  // 新值（支持模板变量）
    },
    {
      "action": "convert_format",     // 操作类型：格式转换
      "source_format": "json",        // 源格式
      "target_format": "yaml",        // 目标格式
      "output_path": "/data/export"   // 转换后数据输出路径
    },
    {
      "action": "filter_data",        // 操作类型：数据过滤
      "condition": "size > 1024",     // 过滤条件（文件大小大于1KB）
      "action_if_matched": "delete"   // 匹配时执行操作（删除）
    }
  ]
}

5. 注意事项

• 确保PDS服务端点（PDS_ENDPOINT）可被容器访问，网络不通将导致数据处理失败
• 数据处理规则文件需符合JSON格式规范，语法错误会导致规则加载失败
• 处理敏感数据时，建议通过PDS_AUTH_TOKEN配置认证信息，并限制容器网络访问权限
• 批量处理大量数据时，可适当调大BATCH_SIZE参数并增加容器内存资源分配
• 镜像版本需与PDS系统版本匹配，避免接口不兼容问题