carlpett/stream_exporter

Stream Exporter

![CircleCI]([***]

镜像概述

Stream Exporter是Prometheus生态的指标导出工具，用于从文本流（日志文件、socket数据、系统日志等）中提取可监控指标。它通过正则表达式解析每行内容，将匹配结果转换为Prometheus支持的所有指标类型，并支持自定义标签映射。

核心功能

1. 多输入源支持：兼容标准输入、文件（tail/dryrun模式）、socket（TCP/UDP/Unix）、syslog服务器、命名管道等输入方式。
2. 灵活指标配置：通过YAML文件定义指标名称、类型、正则规则及标签，支持捕获组自动生成标签。
3. 全指标类型覆盖：支持counter（计数器）、gauge（ gauge）、summary（摘要）、histogram（直方图）四种Prometheus指标类型，每种类型可配置专属参数（如直方图桶、摘要分位数）。
4. 调试工具：提供dryrun模式和EOF输出功能，便于配置验证与问题排查。

使用场景

• 日志监控：从应用日志中提取错误数、请求耗时等关键指标。
• 系统事件分析：通过syslog收集系统事件并转换为监控指标。
• 实时数据流处理：从socket接收实时数据并生成实时指标。

配置说明

指标配置文件

通过YAML文件定义指标规则，示例如下：

yaml
metrics:
  - name: comments_total
    kind: counter
    pattern: "^#.+"
  - name: current_visitors
    kind: gauge
    pattern: "Current number of visitors on (?P<section>\\w+) is (?P<value>[0-9]+)"

• name：指标名称。
• kind：指标类型（counter/gauge/summary/histogram）。
• pattern：匹配行的正则表达式，命名捕获组作为标签（value捕获组特殊处理为指标值）。

输入模块参数

不同输入模块需指定对应命令行参数：

• 文件输入：-input.type file -input.file.path /path/to/logfile
• Socket输入：-input.type socket -input.socket.listenaddr :10000
• Syslog输入：-input.type syslog -input.syslog.listenfamily tcp -input.syslog.listenaddr :1514

Docker部署示例

Docker Run命令

bash
docker run -d \
  --name stream_exporter \
  -v /path/to/your/config.yaml:/app/stream_exporter.yaml \
  -v /path/to/your/logs:/logs \
  -p 9178:9178 \
  carlpett/stream_exporter \
  -input.type file \
  -input.file.path /logs/app.log \
  -config /app/stream_exporter.yaml

Docker Compose示例

yaml
version: '3'
services:
  stream_exporter:
    image: carlpett/stream_exporter
    volumes:
      - ./config.yaml:/app/stream_exporter.yaml
      - ./logs:/logs
    ports:
      - "9178:9178"
    command: >
      -input.type file
      -input.file.path /logs/app.log
      -config /app/stream_exporter.yaml