coco/native-ingester Docker Image Overview

coco/native-ingester

自动构建

coco

从队列主题消费原生CMS内容或元数据消息，根据数据源写入特定数据库集合，并可选转发消息到不同队列的服务。

下载次数: 0状态：自动构建维护者：coco仓库类型：镜像最近更新：4 个月前

轩辕镜像，让镜像更快，让人生更轻。点击查看

中文简介版本下载

轩辕镜像，让镜像更快，让人生更轻。点击查看

Native Ingester

镜像概述和主要用途

Native Ingester 是一个用于处理原生CMS内容的服务，能够从指定队列主题消费包含原生CMS内容或元数据的消息，根据数据源将内容或元数据写入特定数据库集合，并支持将消费的消息可选转发至不同队列。

核心功能和特性

消息消费：从指定队列主题（基于Zookeeper地址配置）消费原生CMS内容或元数据消息。
数据持久化：根据数据源将消费的内容或元数据写入特定的数据库集合。
消息转发：可选将消费的消息转发至指定的Kafka队列主题。

使用场景和适用范围

适用于需要处理原生CMS内容并进行持久化存储的场景，如内容管理系统（CMS）中内容或元数据的实时处理、存储与分发流程，支持内容类型包括普通内容、注解等。

使用方法和配置说明

Docker 运行示例

bash
docker run -d \
  -p 8080:8080 \
  -e PORT=8080 \
  -e Q_READ_ADDR="zk-host1:2181,zk-host2:2181" \
  -e Q_READ_GROUP="content-group" \
  -e Q_READ_TOPIC="native-content-topic" \
  -e NATIVE_RW_ADDRESS="[***]" \
  -e NATIVE_CONTENT_UUID_FIELDS="uuid,post.uuid,data.uuidv3" \
  -e Q_WRITE_ADDR="kafka-host:9092" \
  -e Q_WRITE_TOPIC="forwarded-content-topic" \
  -e CONTENT_TYPE="Content" \
  -e APP_NAME="native-ingester" \
  --name native-ingester \
  financial-times/native-ingester

配置参数说明

参数名	默认值	环境变量	描述
--port	"8080"	PORT	服务监听端口
--read-queue-addresses	[]	Q_READ_ADDR	用于连接消费者队列的Zookeeper地址（host:port）列表
--read-queue-group	""	Q_READ_GROUP	从队列读取消息时使用的消费组
--read-queue-topic	""	Q_READ_TOPIC	读取消息的队列主题
--native-writer-address	""	NATIVE_RW_ADDRESS	用于持久化写入原生内容的服务地址（URL）
--config	"config.json"	-	配置文件路径，JSON格式，定义（originId (URI)、内容类型）到原生集合名称的映射，内容类型支持正则表达式
--content-uuid-fields	[]	NATIVE_CONTENT_UUID_FIELDS	原生内容体中指向UUID的JSONPath列表，如"uuid,post.uuid,data.uuidv3"
--write-queue-address	""	Q_WRITE_ADDR	用于连接生产者队列的Kafka地址（host:port）
--write-topic	""	Q_WRITE_TOPIC	写入消息的队列主题
--content-type	"Content"	CONTENT_TYPE	应用可处理的内容类型（用于日志，如"Content"或"Annotations"）
--appName	"native-ingester"	APP_NAME	应用名称