coco/annotations-publisher

Annotations Publisher

概述

Annotations Publisher是一个微服务，用于将注释从TagMe发布到UPP。

核心功能和特性

• 将注释从TagMe发布到UPP
• 支持通过请求体发布注释或从PAC数据库获取最新注释后发布
• 提供健康检查和构建信息端点
• 可配置的HTTP客户端超时和认证信息
• 基于环境变量的灵活配置

安装

下载源代码、依赖项和测试依赖项：

bash
go get -u github.com/kardianos/govendor
mkdir $GOPATH/src/github.com/Financial-Times/annotations-publisher
cd $GOPATH/src/github.com/Financial-Times
git clone https://github.com/Financial-Times/annotations-publisher.git
cd annotations-publisher && govendor sync
go build .

本地运行

1. 运行测试并安装二进制文件

bash
govendor sync
govendor test -v -race +local
go install

2. 运行二进制文件

使用--help标志查看可用的可选参数：

bash
$GOPATH/bin/annotations-publisher [--help]

PAC Annotations Publisher

选项:
  --app-system-code="annotations-publisher"             应用程序的系统代码 ($APP_SYSTEM_CODE)
  --app-name="annotations-publisher"                    应用程序名称 ($APP_NAME)
  --port="8080"                                         监听端口 ($APP_PORT)
  --draft-annotations-rw-endpoint=""                    用于保存/读取草稿注释的端点 ($DRAFT_ANNOTATIONS_RW_ENDPOINT)
  --annotations-publish-endpoint=""                     发布注释到UPP的端点 ($ANNOTATIONS_PUBLISH_ENDPOINT)
  --annotations-publish-gtg-endpoint=""                 发布注释到UPP的GTG端点 ($ANNOTATIONS_PUBLISH_GTG_ENDPOINT)
  --annotations-publish-auth=""                         用于发布注释的基本认证信息，格式为username:password ($ANNOTATIONS_PUBLISH_AUTH)
  --origin-system-id="http://cmdb.ft.com/systems/pac"   发布来源系统ID ($ORIGIN_SYSTEM_ID)
  --api-yml="./api.yml"                                 API Swagger YML文件位置 ($API_YML)
  --http-timeout="8s"                                   HTTP客户端超时时间(秒)

3. 测试

bash
curl http://localhost:8080/__health | jq

构建与部署

• 合并到master分支后由Docker Hub构建：https://hub.docker.com/r/coco/annotations-publisher/
• CI由CircleCI提供：annotations-publisher

Docker部署示例

bash
docker run -d -p 8080:8080 \
  -e APP_PORT=8080 \
  -e DRAFT_ANNOTATIONS_RW_ENDPOINT="http://draft-annotations-service:8080" \
  -e ANNOTATIONS_PUBLISH_ENDPOINT="http://upp-publishing-service:8080/annotations" \
  -e ANNOTATIONS_PUBLISH_AUTH="user:password" \
  coco/annotations-publisher

服务端点

有关服务API端点的完整描述，请参见Open API规范。

POST

使用请求体发布

此端点将提供的注释保存到PAC数据库（草稿和已发布注释集合中），随后将注释发布到UPP。 注意：当前如果hash值为空，请求仍会成功。未来可能会更改此行为。

bash
curl http://localhost:8080/draft/content/b7b871f6-8a89-11e4-8e24-00144feabdc0/annotations/publish -XPOST -H "Previous-Document-Hash:hashvalue" --data '{
  "annotations":[
    {
      "predicate": "http://www.ft.com/ontology/annotation/hasContributor",
      "id": "http://www.ft.com/thing/5bd49568-6d7c-3c10-a5b0-2f3fd5974a6b"
    },
    {
      "predicate": "http://www.ft.com/ontology/annotation/about",
      "id": "http://www.ft.com/thing/d7de27f8-1633-3fcc-b308-c95a2ad7d1cd"
    },
    {
      "predicate": "http://www.ft.com/ontology/annotation/hasDisplayTag",
      "id": "http://www.ft.com/thing/d7de27f8-1633-3fcc-b308-c95a2ad7d1cd"
    }
  ]
}'

从存储发布

bash
curl http://localhost:8080/draft/content/b7b871f6-8a89-11e4-8e24-00144feabdc0/annotations/publish?fromStore=true -XPOST

通过移除请求体并设置查询参数fromStore=true，向同一端点发送POST请求将首先从PAC数据库检索最新注释，将其持久化到PAC数据库的已发布集合，然后发布到UPP。

健康检查

管理端点包括：

• /__gtg
• /__health
• /__build-info

目前，/__health端点检查UPP发布集群的publish类别的可用性，而/__gtg不执行任何检查（实际上是服务的ping）。

日志

• 应用程序使用https://github.com/sirupsen/logrus%EF%BC%9B%E6%97%A5%E5%BF%97%E6%96%87%E4%BB%B6%E5%9C%A8main.go%E4%B8%AD%E5%88%9D%E5%A7%8B%E5%8C%96%E3%80%82
• 日志记录需要env应用参数，对于除local之外的所有环境，日志写入文件。
• 在本地运行时，日志写入控制台。如果要在本地将日志写入文件，需要传入不等于local的env参数。
• 注意：/__build-info和/__gtg端点不记录日志，因为它们每秒从varnish/vulcand调用，这些信息在日志/splunk中不需要。