ovhcom/beamium

Beamium - Warp10与Prometheus指标收集器

镜像概述和主要用途

Beamium是一款轻量级指标收集工具，旨在从HTTP端点（如http://127.0.0.1/metrics）或目录中抓取指标数据，支持Prometheus和Warp10/Sensision格式。收集到的指标可经过过滤后转发至Warp10时序数据平台。该工具采用Rust编写，确保高效性能、低资源占用和确定性运行表现，同时通过DFO（磁盘故障转移）机制防止因网络问题或服务不可用导致的指标丢失。

核心功能和特性

• 简单易用：单二进制文件，专注于指标抓取与推送的核心功能
• 广泛集成：支持Prometheus指标格式，可接入庞大的Prometheus生态系统
• 数据可靠：内置DFO机制处理网络故障，确保数据零丢失
• 灵活多样：支持从HTTP端点或本地目录抓取指标
• 强大过滤：可对指标进行过滤，并支持向多个Warp10平台转发数据

使用场景和适用范围

• 监控系统或应用的Prometheus格式指标
• 收集Warp10/Sensision格式的时序数据
• 需要可靠指标转发机制的企业级监控架构
• 多平台指标聚合与分发场景
• 网络不稳定环境下的指标采集需求

详细使用方法和配置说明

工作原理

Beamium的工作流程如下：

1. 抓取器（可选）从定义的端点收集指标并存储到source_dir
2. Beamium读取source_dir中的文件，根据选择器规则分发至sink_dir
3. 最终将sink_dir中的文件推送到指定的Warp10平台

数据流程示意：

HTTP /metrics端点 --抓取--> source_dir --路由--> sink_dir --转发--> Warp10平台

也可直接向目录写入指标：

bash
$ TS=`date +%s` && echo $TS"000000// metrics{} T" >> /opt/beamium/data/sources/prefix-$TS.metrics

安装方法

提供deb包安装方式：

bash
sudo apt-get install apt-transport-https
sudo lsb_release -a | grep Codename | awk '{print "deb https://last-public-ovh-metrics.snap.mirrors.ovh.net/debian/ " $2 " main"}' >> /etc/apt/sources.list.d/beamium.list
curl https://last-public-ovh-metrics.snap.mirrors.ovh.net/pub.key | sudo apt-key add -
sudo apt-get update
sudo apt-get install beamium

源码构建

1. 克隆仓库
2. 准备配置文件（见下方配置说明）
3. 安装Rust编译工具：curl https://sh.rustup.rs -sSf | sh
4. 加载环境变量：source ~/.cargo/env
5. 构建：cargo build
6. 运行：cargo run

若已安装Rust，可直接安装：

bash
cargo install --git https://github.com/ovh/beamium

配置说明

Beamium使用YAML配置文件，可参考示例配置文件。配置包含四个核心部分：

Scrapers（抓取器）

定义从HTTP端点抓取指标的配置，可选配置：

yaml
scrapers:                              # 抓取器定义（可选）
  scraper1:                            # 源名称（必填）
    url: http://127.0.0.1:9100/metrics # Prometheus端点（必填）
    period: 10000                      # 轮询间隔（毫秒，必填）
    format: prometheus                 # 格式（可选，默认prometheus，支持prometheus/sensision）
    labels:                            # 标签定义（可选）
      label_name: label_value          # 标签键值对（必填，若配置labels）
    filtered_labels:                   # 需过滤的标签（可选）
      - jobid                          # 要移除的标签键（必填，若配置filtered_labels）
    metrics:                           # 指标过滤正则（可选）
      - node.*                         # 用于选择指标的正则表达式（必填，若配置metrics）
    headers:                           # 请求头（可选）
      X-Toto: tata                     # 自定义请求头（可选）
      Authorization: Basic XXXXXXXX

Sinks（接收器）

定义向Warp10平台转发指标的配置，可选配置：

yaml
sinks: # 接收器定义（可选）
  source1:                             # 接收器名称（必填）
    url: https://warp.io/api/v0/update # Warp10端点（必填）
    token: mywarp10token               # Warp10写入令牌（必填）
    token-header: X-Custom-Token       # 令牌头名称（可选，默认X-Warp10-Token）
    selector: metrics.*                # 指标过滤正则（可选，默认无）
    ttl: 3600                          # 文件过期时间（秒，可选，默认3600）
    size: 1073741824                   # 接收器目录大小限制（字节，可选，默认1073741824）
    parallel: 1                        # 并行发送数（可选，默认1）
    keep-alive: 1                      # 是否启用长连接（可选，默认1）

Labels（全局标签）

为所有收集的指标添加静态标签：

yaml
labels: # 标签定义（可选）
  label_name: label_value # 标签键值对（必填，若配置labels）

Parameters（参数）

自定义Beamium运行参数：

yaml
parameters: # 参数定义（可选）
  source-dir: sources   # 源数据目录（可选，默认sources）
  sink-dir: sinks       #  sink数据目录（可选，默认sinks）
  scan-period: 1000     # 目录扫描间隔（毫秒，可选，默认1000）
  batch-count: 250      # 批处理文件最大数量（可选，默认250）
  batch-size: 200000    # 批处理大小限制（可选，默认200000）
  log-file: beamium.log # 日志文件（可选，默认beamium.log）
  log-level: 4          # 日志级别（可选，默认info）
  timeout: 500          # HTTP超时（秒，可选，默认500）
  router-parallel: 1    # 路由线程数（可选，默认1）
  backoff:              # 错误重试退避配置（可选）
    initial: 500ms        # 初始间隔（可选，默认500ms）
    max: 1m               # 最大间隔（可选，默认1m）
    multiplier: 1.5       # 间隔乘数（可选，默认1.5）
    randomization: 0.3    # 随机因子（可选，默认0.3）

Docker部署示例

假设使用Docker运行Beamium，可通过以下命令挂载配置文件和数据目录：

bash
docker run -d \
  --name beamium \
  -v /path/to/config.yaml:/etc/beamium/config.yaml \
  -v /path/to/beamium/data:/opt/beamium/data \
  ovh/beamium:latest \
  --config /etc/beamium/config.yaml

docker-compose配置示例：

yaml
version: '3'
services:
  beamium:
    image: ovh/beamium:latest
    volumes:
      - ./config.yaml:/etc/beamium/config.yaml
      - ./data:/opt/beamium/data
    command: --config /etc/beamium/config.yaml
    restart: always

项目状态

Beamium目前处于开发阶段。

贡献指南

贡献说明请参考Contributing页面。

联系方式

• ***: @notd33d33