mintel/elasticsearch-cloudwatcher

elasticsearch-asg工具集

镜像概述

这是一套针对AWS自动扩缩组（ASG）环境设计的Elasticsearch集群管理工具集，支持Elasticsearch 7.0及以上版本。包含多个独立工具，帮助用户实现集群指标监控、节点生命周期管理、扩缩策略调控及数据快照管理等核心功能，适用于在AWS上部署和运维Elasticsearch集群的场景。

核心功能

1. cloudwatcher
   将Elasticsearch集群的关键指标（如节点状态、分片分布、资源使用率等）推送至AWS CloudWatch，为AWS目标追踪扩缩策略提供数据支撑，帮助实现集群的自动扩缩。

2. drainer
   监听AWS CloudWatch Events（通过SQS队列），当EC2实例因ASG缩容或Spot实例中断即将终止时，自动移除该节点上的Elasticsearch分片，避免数据丢失或集群不稳定。

3. throttler
   调控AWS ASG的扩缩操作：当集群处于非稳定状态（如红色健康状态、分片正在迁移等）时，暂停新的扩缩动作，确保集群稳定后再执行，提升集群可靠性。

4. snapshooter
   按照预设调度对Elasticsearch集群进行数据快照，并通过下采样策略自动清理旧快照，平衡数据备份需求与存储成本。

使用场景

• AWS ASG上的Elasticsearch集群监控：需要将集群指标同步至CloudWatch，用于自动扩缩或告警。
• 节点生命周期管理：处理ASG缩容或Spot实例中断时的节点退出，保证分片安全迁移。
• 扩缩策略优化：避免在集群不稳定时执行扩缩操作，减少集群故障风险。
• 数据备份与清理：定时生成快照并自动清理旧数据，保障数据安全且节省存储资源。

配置说明

每个工具需根据功能配置相关参数（示例）：

• 通用参数：
  • ELASTICSEARCH_URL：Elasticsearch集群的访问地址（如http://es-cluster:9200）。
  • AWS_REGION：AWS服务所在区域（如cn-north-1）。
• 工具特定参数：
  • drainer：SQS_QUEUE_URL（接收CloudWatch Events的SQS队列地址）。
  • snapshooter：SNAPSHOT_INTERVAL（快照间隔）、RETENTION_POLICY（旧快照保留策略）。

注：容器需具备访问AWS服务（CloudWatch、SQS、ASG等）的IAM权限，可通过绑定IAM角色或设置AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY环境变量实现。

部署示例

1. cloudwatcher部署

sh
docker run -d \
  --name es-cloudwatcher \
  -e AWS_REGION=cn-north-1 \
  -e ELASTICSEARCH_URL=http://your-es-cluster:9200 \
  mintel/elasticsearch-cloudwatcher:latest

2. drainer部署

sh
docker run -d \
  --name es-drainer \
  -e AWS_REGION=cn-north-1 \
  -e ELASTICSEARCH_URL=http://your-es-cluster:9200 \
  -e SQS_QUEUE_URL=https://sqs.cn-north-1.amazonaws.com.cn/123456789012/your-queue \
  mintel/elasticsearch-drainer:latest

3. snapshooter部署

sh
docker run -d \
  --name es-snapshooter \
  -e AWS_REGION=cn-north-1 \
  -e ELASTICSEARCH_URL=[***] \
  -e SNAPSHOT_INTERVAL=24h \
  -e RETENTION_POLICY=7d \
  mintel/elasticsearch-snapshooter:latest