placeos/search-ingest

镜像概述

本Docker镜像提供一个搜索摄入服务，核心功能是实现RethinkDB与Elasticsearch之间的文档数据传输，支持将RethinkDB中的文档同步至Elasticsearch，以构建基于Elasticsearch的搜索能力。

核心功能与特性

数据传输

• 监听RethinkDB指定表的文档变化（新增、更新、删除），并实时同步至Elasticsearch
• 支持全量数据初始同步与增量数据实时同步两种模式

数据处理

• 可选的文档字段映射与转换，支持自定义规则处理RethinkDB文档后再写入Elasticsearch
• 内置基础数据清洗能力，过滤无效或空值字段

集成能力

• 原生支持RethinkDB的changefeed机制，高效捕获数据变更
• 兼容Elasticsearch 7.x及以上版本，支持索引自动创建与文档CRUD操作

可靠性保障

• 失败重试机制，针对网络波动或服务暂时不可用场景自动重试数据传输
• 详细日志输出，记录数据同步状态、错误信息及处理结果

使用场景与适用范围

适用场景

• 内容搜索平台：将RethinkDB存储的文章、商品等内容数据同步至Elasticsearch，提供全文搜索能力
• 日志分析系统：同步RethinkDB中的应用日志至Elasticsearch，结合Kibana实现日志检索与可视化
• 数据整合平台：作为中间件连接RethinkDB与Elasticsearch，实现异构数据库间的数据同步

适用范围

• 已采用RethinkDB作为主数据库，需构建搜索功能的应用
• 需要实时或近实时将RethinkDB数据同步至Elasticsearch的场景
• 对数据同步可靠性、低延迟有一定要求的业务系统

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name search-ingest-service \
  -e RETHINKDB_HOST=rethinkdb.example.com \
  -e RETHINKDB_PORT=28015 \
  -e RETHINKDB_DB=my_database \
  -e RETHINKDB_TABLE=documents \
  -e ELASTICSEARCH_HOST=http://elasticsearch.example.com:9200 \
  -e ELASTICSEARCH_INDEX=docs_index \
  your-image-name:latest

Docker Compose配置示例

yaml
version: '3'
services:
  search-ingest:
    image: your-image-name:latest
    container_name: search-ingest-service
    environment:
      - RETHINKDB_HOST=rethinkdb
      - RETHINKDB_PORT=28015
      - RETHINKDB_DB=app_data
      - RETHINKDB_TABLE=content
      - RETHINKDB_USER=admin
      - RETHINKDB_PASSWORD=secret
      - ELASTICSEARCH_HOST=http://elasticsearch:9200
      - ELASTICSEARCH_INDEX=content_index
      - SYNC_MODE=full+incremental  # 全量+增量同步模式
      - BATCH_SIZE=100  # 批量同步大小
    depends_on:
      - rethinkdb
      - elasticsearch

  rethinkdb:
    image: rethinkdb:latest
    ports:
      - "28015:28015"
    volumes:
      - rethinkdb-data:/data

  elasticsearch:
    image: elasticsearch:7.14.0
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"
    volumes:
      - elasticsearch-data:/usr/share/elasticsearch/data

volumes:
  rethinkdb-data:
  elasticsearch-data:

配置参数说明

注意事项

1. 网络连接：确保服务容器能与RethinkDB、Elasticsearch实例网络互通（可通过depends_on或自定义网络配置实现）
2. 权限配置：RethinkDB用户需具备目标表的读权限，Elasticsearch用户需具备目标索引的写权限
3. 初始同步：首次运行建议使用full+incremental模式，确保历史数据完整同步后自动切换至增量同步
4. 资源配置：根据数据量调整BATCH_SIZE参数，避免因批量过大导致内存占用过高