coco/notifications-push

notifications-push 镜像文档

镜像概述

notifications-push 是一个微服务，用于提供内容发布或变更的推送通知。该微服务消费特定的 Apache Kafka 主题组，然后为消费的 Kafka 消息中包含的每个文章或内容列表推送通知。

核心功能和特性

• Kafka 消息消费：消费指定的 Kafka 主题组，处理内容发布事件
• 通知推送：为文章或内容列表的发布/变更生成并推送通知
• 内容过滤：支持基于内容类型和 URI 的白名单过滤机制
• HTTP 端点：提供推送流、通知历史和订阅者统计等 HTTP 接口
• 监控支持：通过监控模式返回额外的发布参考和最后修改时间信息
• 心跳机制：每 30 秒发送心跳包以保持连接活跃

使用场景

适用于需要实时获取内容发布或变更通知的系统，如内容管理平台、实时内容展示应用、内容监控工具等，帮助下游服务及时响应内容更新。

使用方法和配置说明

构建和运行二进制文件

安装、构建与测试

bash
curl https://raw.githubusercontent.com/golang/dep/master/install.sh | sh
go get -u github.com/Financial-Times/notifications-push
cd $GOPATH/src/github.com/Financial-Times/notifications-push

dep ensure -vendor-only
go test ./... -race
go install

本地运行

1. 创建 Kafka 隧道：

bash
ssh -L 2181:localhost:2181 -L 9092:localhost:9092 username@<host>

2. 配置 hosts 文件：

bash
127.0.0.1       <private_dns> 

3. 通过环境变量启动：

bash
export NOTIFICATIONS_RESOURCE=content \
    && export KAFKA_ADDRS=localhost:2181 \
    && export GROUP_ID=notifications-push-yourtest \
    && export TOPIC=PostPublicationEvents \
    && export NOTIFICATIONS_DELAY=10 \
    && export API_BASE_URL="http://api.ft.com" \
    && export CONTENT_TYPE_WHITELIST="application/vnd.ft-upp-article+json,application/vnd.ft-upp-content-package+json" \
    && export CONTENT_URI_WHITELIST="^http://(methode|wordpress|content)-(article|collection|content-placeholder)-(transformer|mapper|unfolder)(-pr|-iw)?(-uk-.*)?\\.svc\\.ft\\.com(:\\d{2,5})?/(content)/[\\w-]+.*$" \
    && ./notifications-push

4. 通过命令行参数启动：

bash
./notifications-push \
    --notifications_resource="content" \
    --consumer_addr="localhost:2181" \
    --consumer_group_id="notifications-push" \
    --topic="PostPublicationEvents" \
    --notifications_delay=10 \
    --api-base-url="http://api.ft.com" \
    --api_key_validation_endpoint="t800/a" \
    --content_type_whitelist="application/vnd.ft-upp-article+json,application/vnd.ft-upp-content-package+json" \
    --content_uri_whitelist="^http://(methode|wordpress|content)-(article|collection|content-placeholder)-(transformer|mapper|unfolder)(-pr|-iw)?(-uk-.*)?\\.svc\\.ft\\.com(:\\d{2,5})?/(content)/[\\w-]+.*$"

注：运行 ./notifications-push -h 获取完整选项列表

使用 Docker 构建和运行

构建镜像

bash
docker build -t coco/notifications-push .

运行容器

bash
docker run --env NOTIFICATIONS_RESOURCE=content \
    --env KAFKA_ADDRS=localhost:2181 \
    --env GROUP_ID="notifications-push-yourtest" \
    --env TOPIC="PostPublicationEvents" \
    --env NOTIFICATIONS_DELAY=10 \
    --env API_BASE_URL="http://api.ft.com" \
    --env CONTENT_TYPE_WHITELIST="application/vnd.ft-upp-article+json,application/vnd.ft-upp-content-package+json" \
    --env CONTENT_URI_WHITELIST="^http://(methode|wordpress|content)-(article|collection)-(transformer|mapper|unfolder)(-pr|-iw)?(-uk-.*)?\\.svc\\.ft\\.com(:\\d{2,5})?/(content)/[\\w-]+.*$" \
    coco/notifications-push

环境变量和配置参数

HTTP 端点

推送流端点

通过 GET 请求访问 /{resource}/notifications-push 端点，订阅者可消费指定资源的通知推送流。

请求示例：

bash
curl -i --header "x-api-key: «api_key»" https://api.ft.com/content/notifications-push
curl -X GET "http://localhost:8080/content/notifications-push?monitor=true"

参数：

• type：指定接收通知的内容类型，可选值：Article、ContentPackage、Audio、All（默认 Article）
• monitor：设为 true 时返回 publishReference 和 lastModified 属性（用于内部监控）

响应示例：

data: []

data: [{"apiUrl":"http://api.ft.com/content/648bda7b-1187-3496-b48e-57ecb14d5b0a","id":"http://www.ft.com/thing/648bda7b-1187-3496-b48e-57ecb14d5b0a","type":"http://www.ft.com/thing/ThingChangeType/UPDATE","title":"For Ioana & Ioana only;","standout":{"scoop":true}}]

data: []

注：空 [] 行为心跳包，每 30 秒发送一次以保持连接。

通知历史端点

GET 请求访问 /__history 端点，返回最近从 Kafka 队列消费的通知历史。

响应示例：

json
[
    {
        "apiUrl": "http://api.ft.com/content/eabefe3e-a4b9-11e6-8b69-02899e8bd9d1",
        "id": "http://www.ft.com/thing/eabefe3e-a4b9-11e6-8b69-02899e8bd9d1",
        "type": "http://www.ft.com/thing/ThingChangeType/UPDATE",
        "publishReference": "tid_jwhfe7n6dj",
        "lastModified": "2016-11-07T13:59:44.950Z"
    }
]

订阅者统计端点

GET 请求访问 /__stats 端点，返回当前消费推送流的订阅者统计信息。

响应示例：

json
{
    "nrOfSubscribers": 2,
    "subscribers": [
        {
            "addr": "127.0.0.1:61047",
            "since": "Nov  7 14:26:04.018",
            "connectionDuration": "2m41.693365011s",
            "type": "dispatcher.standardSubscriber"
        }
    ]
}

特殊说明

• CoCo 环境限制：端点不能在 /__notifications-push/ 路径下工作，因 Vulcan 不支持 HTTP 长轮询，通过 Varnish 转发到固定端口解决。
• 生产环境 API 网关：不支持 HTTP 长轮询，请求通过 Fastly 转发，客户端连接时服务会调用 API 网关验证 API 密钥。

客户端

示例客户端代码位于 bin/client 目录。

日志

应用使用 https://github.com/Financial-Times/go-logger%EF%BC%8C%E6%97%A5%E5%BF%97%E6%96%87%E4%BB%B6%E5%9C%A8 app.go 中初始化。

有用链接

• 生产环境：[***] API 密钥）
• 内部使用：
  • [***]
  • [***]