coco/content-rw-elasticsearch

content-rw-elasticsearch 镜像文档

镜像概述

content-rw-elasticsearch是一个用于将V2内容索引到Elasticsearch中的服务，主要供SAPI V1使用。该服务通过消费Kafka队列中的消息，将内容数据索引到指定的Elasticsearch集群，并提供健康检查等管理端点监控服务状态。

核心功能与特性

• 内容索引：将V2格式的内容数据索引到Elasticsearch，支持SAPI V1的内容检索需求
• Kafka消息消费：从指定Kafka主题消费消息，支持并发处理配置
• 多维度健康检查：提供多个管理端点，监控Elasticsearch集群连接、健康状态、模式验证及Kafka队列主题状态
• 灵活配置：通过命令行参数或环境变量配置服务端口、Elasticsearch连接信息、Kafka消费参数等

使用场景与适用范围

适用于需要将V2内容数据标准化索引到Elasticsearch，并为SAPI V1服务提供数据支持的场景。典型应用于内容管理系统中，实现内容数据的实时索引与检索准备。

安装与构建

源码获取与依赖安装

1. 下载源码及依赖：

   bash
   go get -u github.com/Financial-Times/content-rw-elasticsearch
   cd $GOPATH/src/github.com/Financial-Times/content-rw-elasticsearch
   dep ensure -vendor-only
   

2. 运行测试：

   bash
   go test ./...
   

本地运行

构建与启动

1. 测试并安装二进制文件：

   bash
   go test -race ./...
   go install
   

2. 启动服务（使用--help查看可选参数）：

   bash
   $GOPATH/bin/content-rw-elasticsearch [--help]
   

配置参数

服务支持通过命令行参数或环境变量配置，以下是主要参数说明：

测试

注意：该服务无对外服务端点可供直接测试。

构建与部署

Docker镜像构建

• 代码合并至master分支后，由Docker Hub自动构建镜像：coco/content-rw-elasticsearch
• 镜像地址：https://hub.docker.com/r/coco/content-rw-elasticsearch/

CI/CD

• 持续集成由CircleCI提供支持：[***]

Docker部署示例

使用环境变量配置并启动容器：

bash
docker run -d \
  -p 8080:8080 \
  -e APP_PORT=8080 \
  -e ELASTICSEARCH_SAPI_ENDPOINT="http://es-cluster:9200" \
  -e ELASTICSEARCH_SAPI_INDEX="ft-content" \
  -e KAFKA_PROXY_ADDR="http://kafka-proxy:8080" \
  -e KAFKA_TOPIC="ContentEvents" \
  coco/content-rw-elasticsearch

健康检查端点

服务提供以下管理端点用于健康监控：

/__gtg

• 功能：返回服务可用性状态
• 返回码：200（可用）/503（不可用，若/__health端点检查失败）

/__health

• 功能：执行多项健康检查，包括：
  • Elasticsearch集群连接状态
  • Elasticsearch集群健康状态
  • Elasticsearch模式验证
  • Kafka队列主题检查

/__health-details

• 功能：显示Elasticsearch集群健康详情

/__build-info

• 功能：返回服务构建信息

其他信息

事件结构示例

事件结构示例文件位置：messaging/testdata/exampleEnrichedContentModel.json

Elasticsearch参考映射

Elasticsearch参考映射文件位置：runtime/referenceSchema.json