coco/concept-publisher

Concept Publisher (concept-publisher)

该镜像为Financial Times的概念发布工具，用于从concept-transformers获取概念数据并将其发布到Kafka。请注意，此概念发布管道已接近生命周期结束，目前仅支持发布组织、FactSet人物和作者类型的概念。

核心功能

• 从概念转换器获取转换后的概念数据
• 将概念数据发布到Kafka
• 支持任务的创建、查询和删除（通过API端点）
• 支持Vulcan-based路由和常规URL路由两种配置方式
• 提供节流控制（req/s）以限制对转换器的请求频率
• 支持指定ID列表发布特定概念

使用场景

适用于***时报内部需要将组织、FactSet人物、作者等概念数据同步到Kafka的场景，用于后续的数据处理或分发。

配置说明

Vulcan-based路由

若环境使用Vulcan路由，需设置环境变量 CLUSTER_ROUTER_ADDRESS。此时URL可以是相对路径（基于CLUSTER_ROUTER_ADDRESS）或绝对路径。

URL-based路由

若环境使用常规URL路由，无需设置 CLUSTER_ROUTER_ADDRESS，此时URL必须为绝对路径。

Docker部署示例

Docker Run命令

bash
# 常规URL路由模式
docker run -d -p 8080:8080 --name concept-publisher docker.xuanyuan.run/coco/concept-publisher

# Vulcan路由模式（设置CLUSTER_ROUTER_ADDRESS）
docker run -d -p 8080:8080 -e CLUSTER_ROUTER_ADDRESS=http://vulcan-router:8080 --name concept-publisher docker.xuanyuan.run/coco/concept-publisher

API端点使用示例

创建任务（常规路由）

bash
curl -X POST -H "Content-Type: application/json" localhost:8080/jobs --data '{
  "concept": "organisations",
  "url": "http://organisations-transformer:8080/transformers/organisations/",
  "gtgUrl": "http://organisations-transformer:8080/__gtg",
  "throttle": 1000
}'

查询任务列表

bash
curl localhost:8080/jobs

查询特定任务详情

bash
curl localhost:8080/jobs/job_123456?full

删除任务

bash
curl -X DELETE localhost:8080/jobs/job_***