andytruong/redes-writer

镜像概述

redes-writer是一款Elastic Search写入器服务镜像，旨在解决多服务直接写入Elastic Search时的并发冲突问题。它通过Redis队列接收写入请求，由单一服务统一执行Elastic Search写入操作，既避免冲突，又让其他服务无需直接访问ES凭据，简化集群配置与安全管理。

核心功能

• 支持通过Redis队列接收index、update等多种ES写入请求
• 统一处理ES写入，消除多服务并发写入冲突
• 隔离服务与ES凭据，提升系统安全性
• 兼容Elastic Search集群配置，无需额外复杂设置
• 提供/stats接口，可查看写入统计数据（如刷新数、成功数、失败数等）

使用场景

• 多微服务需向同一Elastic Search实例写入数据的场景
• 需要隔离服务与ES凭据的安全需求场景
• 希望简化Elastic Search集群写入配置的场景

配置说明

需通过配置文件（如config.yaml）指定Redis连接信息（地址、队列名称）、Elastic Search连接信息（地址、凭据）等核心参数。

部署示例

Docker Compose部署

yaml
version: '3'
services:
  redis:
    image: redis:5.0-alpine
    ports: ["6379:6379"]
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.3.0
    environment: ["discovery.type=single-node"]
    ports: ["9200:9200"]
  redes-writer:
    image: andytruong/redes-writer
    volumes: ["./config.yaml:/app/config.yaml"]
    command: es-writer -c /app/config.yaml
    depends_on: [redis, elasticsearch]

手动部署步骤

1. 启动Redis：

bash
docker run -d -p 6379:6379 --rm --name hi-redis redis:5.0-alpine

2. 启动Elastic Search：

bash
docker run -d -p 9200:9200 --rm --name hi-es7 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.3.0

3. 启动redes-writer：

bash
docker run -d --name hi-redes-writer -v ./config.yaml:/app/config.yaml andytruong/redes-writer es-writer -c /app/config.yaml

使用示例

向Redis队列推送写入请求：

bash
# 进入Redis容器
docker exec -it hi-redis redis-cli
# 推送index请求
RPUSH es-writer '{"type":"index","index":{"index":"lr","type":"enrolment","id":"123","routing":"456","doc":{"field1":"value1"}}}'
# 推送update请求
RPUSH es-writer '{"type":"update","update":{"index":"lr","type":"enrolment","id":"123","routing":"456","doc":{"field2":"value2"}}}'
# 触发写入
PUBLISH es-writer-pubsub 1
# 检查结果
curl http://localhost:9200/lr/enrolment/123