coco/content-exporter

content-exporter

镜像概述

content-exporter是一个用于自动化内容导出的服务，支持从数据库提取数据并同步到S3存储，提供全量、增量和目标三种导出模式，可通过Kafka消费消息实现增量更新，并包含完善的健康检查和日志机制。

核心功能

1. 全量导出：查询数据库数据，调用富集内容接口获取处理后的内容，通过S3写入服务上传到S3。
2. 增量导出：监听Kafka通知主题，根据事件类型（更新/删除）执行对应操作（上传/删除S3内容）。
3. 目标导出：针对指定数据触发导出，流程与全量导出一致但范围受限。
4. 健康检查：提供/__gtg、/__health等端点，检查Kafka、Mongo连接及依赖服务状态。
5. 日志管理：使用logrus记录日志，排除频繁调用的健康端点日志以减少冗余。

使用场景

• 定期将数据库内容批量同步到S3的场景。
• 通过Kafka消息实时更新S3内容的业务需求。
• 针对特定数据进行定制化导出的场景。

配置说明

主要环境变量配置如下：

• APP_PORT：服务监听端口，默认8080。
• MONGO_CONNECTION：MongoDB连接地址（逗号分隔多节点）。
• ENRICHED_CONTENT_BASE_URL：富集内容接口基础URL。
• S3_WRITER_BASE_URL：S3写入服务基础URL。
• KAFKA_ADDRS：Kafka集群地址（启用增量导出需配置）。
• GROUP_ID：Kafka消费组ID。
• TOPIC：Kafka监听主题。
• LOG_DEBUG：是否启用调试日志，默认false。

Docker部署示例

单容器运行

bash
docker run -d \
  --name content-exporter \
  -p 8080:8080 \
  -e MONGO_CONNECTION="mongo1:27017,mongo2:27017" \
  -e ENRICHED_CONTENT_BASE_URL="http://enriched-content:8080" \
  -e S3_WRITER_BASE_URL="http://s3-writer:8080" \
  -e KAFKA_ADDRS="kafka1:9092,kafka2:9092" \
  -e GROUP_ID="content-exporter-group" \
  -e TOPIC="content-updates" \
  docker.xuanyuan.run/coco/content-exporter

验证服务状态

访问http://localhost:8080/__health查看服务健康状态，返回200表示正常。

触发导出

发送POST请求到http://localhost:8080/export触发全量导出；若请求体包含ids字段，则触发目标导出。

bash
# 全量导出
curl -X POST http://localhost:8080/export

# 目标导出（示例）
curl -X POST -H "Content-Type: application/json" -d '{"ids":["content-id-1","content-id-2"]}' http://localhost:8080/export