egemenyavuz/rest-transform

rest-transform 镜像文档

镜像概述和主要用途

rest-transform是一个微服务镜像，主要功能是调用指定URL（支持可选负载）并将请求结果存储在可配置的属性中。该服务可灵活用作数据转换（transform）或数据接收端（sink），适用于需要通过HTTP请求与外部系统集成的数据处理场景。

核心功能和特性

• 双模式支持：同时提供转换（transform）和接收（sink）两种工作模式
• 实体级定制：支持通过实体属性覆盖全局配置，实现单个实体的个性化处理
• 流式处理：默认流式返回转换结果，可通过配置关闭流式模式
• 错误容忍：可配置容忍特定HTTP状态码，避免因部分错误导致整个数据管道失败
• 灵活授权：支持无认证、基本认证（Basic Auth）和OAuth2三种授权方式
• 默认端口：服务默认监听5001端口

使用场景和适用范围

• 作为数据转换服务，集成外部API对数据进行加工处理
• 作为数据管道的终点（sink），接收并存储数据
• 需要对不同实体应用差异化HTTP请求配置的场景
• 与外部系统交互时需要处理特定错误状态码的场景

详细配置说明

端点（Endpoints）

查询参数（Query Parameters）

注：service_config_property 若指定，其值必须指向输入实体中的一个字典，字典字段需为环境变量的子集。

环境变量参数（Environment Parameters）

注：标有*的配置可通过实体级定制（通过service_config_property环境变量或查询参数）覆盖。

授权配置（AUTHORIZATION）

AUTHORIZATION 配置支持以下几种认证方式：

无认证

json
"AUTHORIZATION": null

基本认证（Basic Auth）

json
"AUTHORIZATION": {
  "type": "basic",
  "basic": ["用户名", "密码"]
}

OAuth2认证

json
"AUTHORIZATION": {
  "type": "oauth2",
  "oauth2": {
    "client_id": "OAuth2客户端ID",
    "client_secret": "OAuth2客户端密钥",
    "token_url": "OAuth2令牌获取URL"
  }
}

部署示例

系统配置示例

json
{
  "_id": "my-rest-transform-system",
  "type": "system:microservice",
  "docker": {
    "environment": {
      "HEADERS": {
        "Accept": "application/json; version=2",
        "Authorization": "token my-travis-token"
      },
      "URL": "https://my_domain/my_script_root",
      "DO_STREAM": false,
      "PROPERTY": "mytransformresponse",
      "TOLERABLE_STATUS_CODES": "404|400"
    },
    "image": "sesamcommunity/sesam-rest-transform",
    "port": 5001
  }
}

管道配置示例

json
{
  "_id": "my-transform-pipe",
  "type": "pipe",
  "source": {
    "type": "dataset",
    "dataset": "my-source"
  },
  "transform": [{
    "type": "dtl",
    "rules": {
      "default": [
        ["copy", "_id"],
        ["add", "id", "_S._id"]
      ]
    }
  }, {
    "type": "http",
    "system": "my-rest-transform-system",
    "url": "/transform?path=/mypath/to/myresource?myid={{ id }}"
  }, {
    "type": "dtl",
    "rules": {
      "default": [
        ["copy", "_id"],
        ["if",
          ["eq", "_S.mytransformresponse.transform_succeeded", false],
          ["comment", "可选：在此处或后续管道中处理容忍的错误"],
          ["add", "details", "_S.mytransformresponse"]
        ]
      ]
    }
  }]
}

Path参数组合示例

以下组合在上述示例场景中效果等效：