coco/smartlogic-concept-transformer

smartlogic-concept-transformer

概述

本服务监听Kafka中Smartlogic系统的变更通知，将消息中的JSON-LD格式数据转换为标准化的UPP概念视图，并将转换后的JSON数据发送至concepts-rw-s3服务。

核心功能

1. 监听Kafka主题获取Smartlogic概念变更通知
2. 转换JSON-LD数据为UPP标准概念视图
3. 提供测试用端点（/transform）验证转换逻辑
4. 支持将转换结果发送至concepts-rw-s3（/transform/send）
5. 提供健康检查及构建信息端点

使用场景

• 生产环境中Smartlogic概念数据的自动化同步与标准化处理
• 测试环境中验证JSON-LD到UPP视图的转换逻辑
• 监控服务与concepts-rw-s3的连接状态

配置说明

本地运行

1. 下载依赖并构建：

   bash
   go get -u github.com/kardianos/govendor
   go get -u github.com/Financial-Times/smartlogic-concept-transformer
   cd $GOPATH/src/github.com/Financial-Times/smartlogic-concept-transformer
   govendor sync
   go build .
   

2. 运行二进制（使用--help查看可选参数）：

   bash
   $GOPATH/bin/smartlogic-concept-transformer [--help]
   

   可选参数：
   • --app-system-code：应用系统编码（默认"smartlogic-concept-transformer"）
   • --app-name：应用名称（默认"smartlogic-concept-transformer"）
   • --port：监听端口（默认"8080"）
   • --kafka-address：Kafka地址
   • --kafka-topic：Kafka主题（默认"smartlogic-concept"）
   • --kafka-group：Kafka消费组（默认"smartlogic-concept-transformer"）
   • --writer-endpoint：RW服务端点（默认"http://localhost:8080/"）

Docker部署示例

bash
docker run -d -p 8080:8080 \
  -e APP_PORT=8080 \
  -e KAFKA_ADDRESS=kafka:9092 \
  -e WRITER_ENDPOINT=http://concepts-rw-s3:8080 \
  docker.xuanyuan.run/coco/smartlogic-concept-transformer

实用端点

POST /transform

用于测试转换逻辑，仅返回转换后的UPP视图，不发送至concepts-rw-s3：

bash
curl -X POST -i http://localhost:8080/transform \
  --data @payload.txt \
  --header "Content-Type:application/json"

POST /transform/send

转换数据并发送至concepts-rw-s3：

bash
curl -X POST -i http://localhost:8080/transform/send \
  --data @payload.txt \
  --header "Content-Type:application/json"

健康检查

• /__gtg：服务可用性检查
• /__health：详细健康状态
• /__build-info：构建信息

日志

• 使用logrus日志库，日志初始化在main.go中
• 非local环境日志写入文件，local环境日志输出至控制台
• /__build-info和/__gtg端点请求不记录日志（避免高频请求淹没日志）