sepa/beats-exporter

beats-exporter

镜像概述和主要用途

Prometheus格式的Elastic Beats内部统计数据导出器，作为https://github.com/trustpilot/beat-exporter%E7%9A%84%E6%9B%BF%E4%BB%A3%E5%AE%9E%E7%8E%B0%EF%BC%8C%E7%94%A8%E4%BA%8E%E6%94%B6%E9%9B%86%E5%92%8C%E6%9A%B4%E9%9C%B2Elastic Beats（如Filebeat、Journalbeat等）的内部运行指标，以便集成到Prometheus监控体系中。

核心功能和特性

• 多Beats支持：单个exporter实例可同时暴露多个Beats的指标
• 指标过滤：支持通过过滤参数筛选需要暴露的指标，降低指标基数

使用场景和适用范围

适用于需要监控Elastic Beats运行状态的环境，尤其适合Kubernetes集群中部署的Filebeat、Journalbeat等Beats组件，可集中收集多个Beats实例的性能指标和运行状态。

使用方法和配置说明

基本用法

bash
docker run sepa/beats-exporter -h

参数说明

usage: beats-exporter [-h] [-p PORT] [-f FILTER] [-l {info,warn,error}]

Prometheus exporter for Elastic Beats

optional arguments:
  -h, --help            显示帮助信息并退出
  -p PORT, --port PORT  要抓取的Beats HTTP端口（默认：5066），可多次指定以监控多个Beats
  -f FILTER, --filter FILTER  过滤指标的子字符串（默认：禁用），可多次指定
  -l {info,warn,error}, --log {info,warn,error}  日志级别（默认：info）

指标过滤示例

通过-f参数可筛选包含指定子字符串的指标，减少暴露的指标数量：

bash
./beats-exporter.py -f=error -f=version

访问localhost:8080/metrics将返回过滤后的指标：

filebeat_info{version="7.4.0"} 1
filebeat_libbeat_output{read="errors"} 0
filebeat_libbeat_output{write="errors"} 0

Kubernetes部署示例

Kubernetes部署示例文件为kubernetes-example.yml，采用DaemonSet方式在每个节点部署包含3个容器的Pod：Filebeat（读取Docker容器日志）、Journalbeat（读取systemd-journal）和beats-exporter（导出前两者的指标）。

关键配置说明

启用Beats内部指标暴露

在Beats配置中启用HTTP指标暴露：

yaml
# 指标可通过 http://localhost:5066/stats 访问
http:
  enabled: true
  port: 5066

覆盖Journalbeat端口

由于Filebeat和Journalbeat使用同一配置文件（端口5066），需覆盖Journalbeat的端口：

yaml
- name: journalbeat
  image: docker.elastic.co/beats/journalbeat:7.4.0
  args:
    - -c
    - /etc/beats/beats.yml
    - -e
    - -E
    - http.port=5067

配置beats-exporter抓取端口

配置exporter从两个端口抓取指标：

yaml
- name: exporter
  image: sepa/beats-exporter
  args:
    - -p=5066
    - -p=5067

配置Prometheus自动发现

添加注解使Prometheus自动发现exporter：

yaml
annotations:
  prometheus.io/scrape: "true"
  prometheus.io/port: "8080"

验证指标

部署后可通过以下命令验证指标：

bash
kubectl -n kube-system exec beats-9chbm -- curl -s localhost:8080/metrics | grep info

预期输出：

Defaulting container name to filebeat.
Use 'kubectl describe pod/beats-9chbm -n kube-system' to see all of the containers in this pod.
filebeat_info{version="7.4.0"} 1
filebeat_beat_info_uptime_ms 5268342
journalbeat_info{version="7.4.0"} 1
journalbeat_beat_info_uptime_ms 5268038

示例告警规则

yaml
- alert: FileBeatQueue
  expr: filebeat_libbeat_pipeline{events="active"} > 100 and delta(filebeat_libbeat_pipeline{events="active"}[15m]) > 0
  for: 15m
  labels:
    severity: warning
    instance: '{{$labels.kubernetes_pod_node_name}}'
  annotations:
    description: Filebeat队列当前值为{{printf "%.0f" $value}}且持续增长