coco/aggregate-concept-transformer

Aggregate Concept Transformer (aggregate-concept-transformer)

镜像概述与主要用途

Aggregate Concept Transformer是一个在UPP（Unified Publishing Platform）中整合和协调概念的服务。它通过SQS接收Amazon S3桶中源概念更新的通知，获取相关UUID的概念，构建整合的JSON模型并同步到Neo4j和Elasticsearch，调用缓存清除工具，发送更新通知到Kinesis流，并完成队列消息的处理。

核心功能与特性

• 接收更新通知：通过SQS接收Amazon S3桶中源概念更新的通知
• 整合概念数据：获取与更新概念相关的所有UUID，从S3请求每个概念数据，构建整合的JSON模型
• 多系统同步：将更新后的概念JSON发送到Neo4j（图数据库）和Elasticsearch（搜索引擎）
• 缓存管理：在Neo4j成功写入概念后，调用varnish-purger清除对应概念的缓存
• 事件通知：向Kinesis流发送所有更新概念的通知
• 消息处理：处理完成后从SQS队列移除消息
• 概念整合逻辑：合并次要概念（目前来自TME），主概念（Smartlogic概念）覆盖次要概念字段，别名合并去重

使用场景与适用范围

适用于需要实时处理和整合分布式存储（S3）中的概念数据，并同步到图数据库、搜索引擎及缓存系统的场景，特别适用于UPP中的概念数据管理与同步，确保概念数据在多系统间的一致性和时效性。

使用方法与配置说明

配置参数

该服务支持通过命令行选项或环境变量进行配置，主要参数如下：

AWS凭证配置

需正确配置AWS凭证，支持两种方式：

1. 凭证文件：~/.aws/credentials

   ini
   [default]
   aws_access_key_id = AKID1234567890
   aws_secret_access_key = MY-SECRET-KEY
   

2. 环境变量：

   bash
   AWS_ACCESS_KEY_ID=AKID1234567890
   AWS_SECRET_ACCESS_KEY=MY-SECRET-KEY
   

运行示例

Docker镜像可从Docker Hub获取：coco/aggregate-concept-transformer

使用Docker运行示例：

bash
docker run -d \
  --name aggregate-concept-transformer \
  -p 8080:8080 \
  -e APP_PORT=8080 \
  -e BUCKET_REGION=eu-west-1 \
  -e SQS_REGION=eu-west-1 \
  -e BUCKET_NAME=my-concept-bucket \
  -e QUEUE_URL=https://sqs.eu-west-1.amazonaws.com/123456789012/my-queue \
  -e NEO_WRITER_ADDRESS=http://neo4j-writer:8080/ \
  -e ELASTICSEARCH_WRITER_ADDRESS=http://elasticsearch-writer:8080/ \
  -e VARNISH_PURGER_ADDRESS=http://varnish-purger:8080/ \
  -e KINESIS_STREAM_NAME=my-kinesis-stream \
  -e AWS_ACCESS_KEY_ID=AKID1234567890 \
  -e AWS_SECRET_ACCESS_KEY=MY-SECRET-KEY \
  docker.xuanyuan.run/coco/aggregate-concept-transformer

管理端点

• 健康检查：http://localhost:8080/__health
• 就绪检查：http://localhost:8080/__gtg（Good to go）
• 构建信息：http://localhost:8080/__build-info

构建与部署

• Docker镜像：合并到master分支后由Docker Hub自动构建，镜像地址：https://hub.docker.com/r/coco/aggregate-concept-transformer/
• CI/CD：由CircleCI提供持续集成，项目地址：https://circleci.com/gh/Financial-Times/aggregate-concept-transformer
• 测试覆盖率：由Coveralls提供代码测试覆盖率报告，地址：https://coveralls.io/github/Financial-Times/aggregate-concept-transformer

文档资源

• API文档：https://docs.google.com/document/d/1FSJBuAq_cncxqr-qsuzQMRcrejiPHWc41cnrpiJ3Gsc/edit
• 运行手册：Runbook
• 应急指南：https://docs.google.com/document/d/1FSJBuAq_cncxqr-qsuzQMRcrejiPHWc41cnrpiJ3Gsc/edit