go1com/es-writer

go1com/es-writer镜像说明

镜像概述

该镜像用于监听RabbitMQ队列中的消息，并将数据持久化到ElasticSearch中，旨在解决数据写入过程中的冲突问题，确保数据同步的可靠性和一致性。

核心功能

1. 实时监听指定RabbitMQ队列的消息
2. 将队列数据写入ElasticSearch索引
3. 处理数据写入冲突，保障数据完整性
4. 支持通过环境变量配置连接信息和策略

使用场景

1. 日志数据从消息队列同步到ElasticSearch，用于检索与分析
2. 业务数据实时同步到搜索引擎，支持用户实时查询需求
3. 分布式系统中需要避免数据写入冲突的数据同步场景

配置说明

需通过环境变量配置以下参数：

• RABBITMQ_HOST：RabbitMQ服务地址
• RABBITMQ_PORT：RabbitMQ服务端口（默认5672）
• RABBITMQ_QUEUE：监听的队列名称
• RABBITMQ_USER：RabbitMQ认证用户名
• RABBITMQ_PASS：RabbitMQ认证密码
• ES_HOST：ElasticSearch服务地址
• ES_INDEX：目标索引名称
• ES_USER：ElasticSearch认证用户名（可选）
• ES_PASS：ElasticSearch认证密码（可选）

部署示例

Docker Run命令

bash
docker run -d \
  --name es-writer \
  -e RABBITMQ_HOST=rabbitmq.example.com \
  -e RABBITMQ_QUEUE=data_sync_queue \
  -e ES_HOST=elasticsearch.example.com \
  -e ES_INDEX=business_data \
  -e RABBITMQ_USER=admin \
  -e RABBITMQ_PASS=123456 \
  go1com/es-writer

Docker Compose示例

yaml
version: '3'
services:
  es-writer:
    image: go1com/es-writer
    environment:
      - RABBITMQ_HOST=rabbitmq
      - RABBITMQ_QUEUE=data_sync
      - ES_HOST=elasticsearch
      - ES_INDEX=app_logs
    depends_on:
      - rabbitmq
      - elasticsearch
  rabbitmq:
    image: rabbitmq:3-management
  elasticsearch:
    image: elasticsearch:7.17.0
    environment:
      - discovery.type=single-node