vinted/elasticsearch_exporter

Elasticsearch Exporter

镜像概述与主要用途

Elasticsearch Exporter是一款用于Prometheus的指标导出工具，专门针对大型Elasticsearch集群设计。它能够从Elasticsearch集群收集各类指标并转换为Prometheus兼容格式，同时提供灵活的配置选项以避免因指标过多导致Prometheus服务器过载。该导出器支持指标过滤、单位转换、自动元数据更新及指标生命周期管理，适用于需要精细化监控Elasticsearch集群的场景。

核心功能与特性

• 指标收集与服务分离：指标收集过程独立于/metrics页面服务，提高稳定性
• 零值指标过滤：可配置跳过零值/空值指标（通过exporter_allow_zero_metrics控制）
• 单位自动转换：
  • Elasticsearch"毫秒"单位转换为秒
  • "千字节"单位转换为字节
  • 所有时间类指标统一为f64秒，指标名称中"millis"替换为"seconds"
  • 自动添加_bytes和_seconds后缀
• 指标命名规范化：
  • 采用蛇形命名法
  • 冒号替换为下划线
  • 方括号替换为冒号（如transport_actions_cluster:monitor/nodes/info[n]_requests_count→transport_actions_cluster_monitor_nodes_info:n:_requests_count）
• 元数据管理：
  • 自动集群元数据更新（默认每5分钟）
  • 节点ID映射注入标签（名称、版本、IP）
• 指标生命周期管理：默认600秒内未出现的指标自动删除
• 自定义标签支持：提供vin_cluster_version等命名空间标签，便于集群版本间指标对比

使用场景与适用范围

• 大型Elasticsearch集群监控：支持大规模集群，可通过多实例部署分担指标收集压力
• 精细化指标收集：可按需启用特定指标，避免Prometheus过载（单个实例可导出近100万指标）
• 多版本集群对比：通过vin_cluster_version标签实现不同版本集群指标对比
• 定制化监控需求：支持按子系统、指标类型配置收集策略

使用方法与配置说明

快速启动（Docker）

基础运行命令：

bash
docker run --network=host -it vinted/elasticsearch_exporter --elasticsearch_url=http://IP:PORT

高级使用示例

抓取节点统计子系统（thread_pool）指标

bash
docker run --network=host -it vinted/elasticsearch_exporter \
  --elasticsearch_url=http://IP:PORT \
  --exporter_metrics_enabled="nodes_stats=true" \
  --elasticsearch_path_parameters="nodes_stats=thread_pool"

同时抓取thread_pool和fs子系统指标

bash
docker run --network=host -it vinted/elasticsearch_exporter \
  --elasticsearch_url=http://IP:PORT \
  --exporter_metrics_enabled="nodes_stats=true" \
  --elasticsearch_path_parameters="nodes_stats=thread_pool,fs"

配置选项

支持的子系统

/_cat子系统：

• cat_allocation、cat_shards、cat_indices、cat_segments、cat_nodes、cat_recovery、cat_health、cat_pending_tasks、cat_aliases、cat_thread_pool、cat_plugins、cat_fielddata、cat_nodeattrs、cat_repositories、cat_templates、cat_transforms

/_cluster子系统：

• cluster_health

/_nodes子系统：

• nodes_usage、nodes_stats、nodes_info

/_stats子系统：

• stats

自身导出指标

该导出器自身也会暴露监控指标，包括：

# HELP elasticsearch_subsystem_request_duration_seconds Elasticsearch子系统请求延迟（秒）
# TYPE elasticsearch_subsystem_request_duration_seconds histogram
elasticsearch_subsystem_request_duration_seconds_bucket{cluster="devnull",subsystem="/_nodes/os",le="0.005"} 0
elasticsearch_subsystem_request_duration_seconds_sum{cluster="devnull",subsystem="/nodes_stats"} 0.130069193
elasticsearch_subsystem_request_duration_seconds_count{cluster="devnull",subsystem="/nodes_stats"} 1

# HELP http_request_duration_seconds HTTP请求延迟（秒）
# TYPE http_request_duration_seconds histogram
http_request_duration_seconds_bucket{handler="/metrics",le="0.005"} 1
http_request_duration_seconds_sum{handler="/metrics"} 0.004372555
http_request_duration_seconds_count{handler="/metrics"} 1

# 进程指标
process_cpu_seconds_total 0.24
process_max_fds 1024
process_open_fds 16
process_resident_memory_bytes 25006080
process_start_time_seconds 1605894185.46
process_virtual_memory_bytes 1345773568

调试

日志级别：info,warn,error,debug,trace

调试HTTP请求

bash
export RUST_LOG=info,reqwest=debug

跟踪所有日志

bash
export RUST_LOG=trace

许可证

MIT