prom/graphite-exporter

Graphite Exporter

概述和主要用途

Graphite Exporter是用于导出Graphite明文协议指标的工具，通过TCP和UDP接收数据，将点分隔的Graphite指标转换为带标签的Prometheus指标并暴露HTTP端点，供Prometheus采集。适用于现有Graphite监控系统向Prometheus迁移或集成，以及处理核心Prometheus导出器未覆盖的指标。

核心功能和特性

• 多协议支持：同时支持TCP和UDP接收Graphite明文协议数据
• 指标转换：将Graphite点分隔指标转换为带标签的Prometheus指标
• 标签处理：支持Graphite带标签carbon格式，自动丢弃无效标签并计数解析失败
• 灵活配置：通过YAML文件自定义指标映射规则，支持正则匹配与标签提取
• 内存管理：默认5分钟后垃圾回收未更新指标，可通过--graphite.sample-expiry调整
• 安全防护：支持TLS加密和基本认证保护HTTP端点

使用场景和适用范围

• 现有Graphite监控系统与Prometheus集成
• 非Prometheus原生应用（通过Graphite协议发送指标）接入Prometheus
• 处理核心Prometheus导出器（如Node Exporter）未覆盖的业务指标
• 需要同时接收TCP和UDP指标数据的场景

使用方法和配置说明

基本使用

编译运行

sh
make
./graphite_exporter

发送测试数据

配置监控系统向9109端口发送Graphite数据，测试示例：

sh
# TCP测试
echo "test_tcp 1234 $(date +%s)" | nc localhost 9109
# UDP测试
echo "test_udp 1234 $(date +%s)" | nc -u -w1 localhost 9109

指标可通过 http://localhost:9108/metrics 访问

Graphite标签处理

支持https://graphite.readthedocs.io/en/latest/tags.html%EF%BC%8C%E6%97%A0%E6%95%88%E6%A0%87%E7%AD%BE%E4%BC%9A%E8%A2%AB%E4%B8%A2%E5%BC%83%EF%BC%8C%60graphite_tag_parse_failures%60%E8%AE%A1%E6%95%B0%E5%99%A8%E9%80%92%E5%A2%9E%E3%80%82%E9%BB%98%E8%AE%A4%E9%85%8D%E7%BD%AE%E6%A0%87%E7%AD%BE%E4%BC%98%E5%85%88%E4%BA%8E%E6%8C%87%E6%A0%87%E6%A0%87%E7%AD%BE%EF%BC%8C%E5%A6%82%E9%9C%80%E4%BD%BF%E7%94%A8%E6%8C%87%E6%A0%87%E6%A0%87%E7%AD%BE%E5%8F%AF%E5%90%AF%E7%94%A8https://github.com/prometheus/statsd_exporter/#honor-labels%E3%80%82

指标映射和配置

注意：0.2.0版本后配置格式变更为https://github.com/prometheus/statsd_exporter%E7%9A%84YAML%E9%A3%8E%E6%A0%BC%EF%BC%8C%E6%97%A7%E9%85%8D%E7%BD%AE%E9%9C%80%E8%BD%AC%E6%8D%A2%EF%BC%88%E8%A7%81%E4%B8%8B%E6%96%B9%E8%AF%B4%E6%98%8E%EF%BC%89

YAML配置

通过YAML文件定义指标映射规则，语法与https://github.com/prometheus/statsd_exporter%E5%85%BC%E5%AE%B9%EF%BC%88%E4%B8%8D%E6%94%AF%E6%8C%81%60timer_type%60%E7%9B%B8%E5%85%B3%E7%89%B9%E6%80%A7%EF%BC%89%E3%80%82%E6%9C%AA%E5%8C%B9%E9%85%8D%E8%A7%84%E5%88%99%E7%9A%84%E6%8C%87%E6%A0%87%E5%B0%86%E8%BD%AC%E6%8D%A2%E4%B8%BA%E6%97%A0%E6%A0%87%E7%AD%BEPrometheus%E6%8C%87%E6%A0%87%EF%BC%8C%E9%9D%9E%E5%AD%97%E6%AF%8D%E6%95%B0%E5%AD%97%E5%AD%97%E7%AC%A6%EF%BC%88%E9%99%A4%60_%60%E5%92%8C%60:%60%EF%BC%89%E6%9B%BF%E6%8D%A2%E4%B8%BA%60_%60%E3%80%82%E5%90%AF%E7%94%A8%60--graphite.mapping-strict-match%60%E5%8F%AF%E4%BB%85%E4%BF%9D%E7%95%99%E5%8C%B9%E9%85%8D%E8%A7%84%E5%88%99%E7%9A%84%E6%8C%87%E6%A0%87%E3%80%82

示例配置：

yaml
mappings:
- match: test.dispatcher.*.*.*
  name: dispatcher_events_total
  labels:
    action: $2
    job: test_dispatcher
    outcome: $3
    processor: $1
- match: '*.signup.*.*'
  name: signup_events_total
  labels:
    job: ${1}_server
    outcome: $3
    provider: $2
- match: 'servers\.(.*)\.networking\.subnetworks\.transmissions\.([a-z0-9-]+)\.(.*)'
  match_type: regex
  name: 'servers_networking_transmissions_${3}'
  labels: 
    hostname: ${1}
    device: ${2}

转换效果：

test.dispatcher.FooProcessor.send.success → dispatcher_events_total{processor="FooProcessor", action="send", outcome="success", job="test_dispatcher"}
foo_product.signup.facebook.failure → signup_events_total{provider="facebook", outcome="failure", job="foo_product_server"}

旧配置转换

0.2.0前版本配置需通过https://github.com/bakins/statsd-exporter-convert%E8%BD%AC%E6%8D%A2%EF%BC%9A

sh
# 安装转换工具
go get -u github.com/bakins/statsd-exporter-convert

# 转换示例
statsd-exporter-convert old_config.conf > new_config.yaml

Docker部署

使用官方镜像https://hub.docker.com/r/prom/graphite-exporter%E9%83%A8%E7%BD%B2%EF%BC%9A

bash
# 拉取镜像
docker pull docker.xuanyuan.run/prom/graphite-exporter

# 运行容器（挂载配置文件）
docker run -d -p 9108:9108 -p 9109:9109 -p 9109:9109/udp \
  -v ${PWD}/graphite_mapping.yaml:/tmp/graphite_mapping.yaml \
  docker.xuanyuan.run/prom/graphite-exporter --graphite.mapping-config=/tmp/graphite_mapping.yaml

端口说明：

• 9108：Prometheus采集指标的HTTP端口
• 9109：TCP接收Graphite数据端口
• 9109/udp：UDP接收Graphite数据端口

实验性功能：Whisper数据导入

使用getool工具导入Graphite的Whisper数据：

sh
# 查看帮助
getool create-blocks --help

# 导入示例（指定块时长为8小时）
getool create-blocks --block-duration=8h --input-dir=/path/to/whisper --output-dir=/path/to/tsdb

合并至现有Prometheus存储时，需启动Prometheus并添加--storage.tsdb.allow-overlapping-blocks标志。

与Graphite桥的不兼容性

不兼容https://prometheus.github.io/client_java/io/prometheus/client/bridge/Graphite.html%E6%88%96https://github.com/prometheus/client_python#graphite%E7%9A%84Graphite%E6%A1%A5%EF%BC%8C%E5%9B%A0%E6%95%B0%E6%8D%AE%E6%A8%A1%E5%9E%8B%E8%BD%AC%E6%8D%A2%E4%BC%9A%E4%B8%A2%E5%A4%B1%E4%BF%A1%E6%81%AF%E4%B8%94%E6%8C%87%E6%A0%87%E5%8F%AF%E8%83%BD%E5%86%B2%E7%AA%81%E3%80%82%E6%9B%BF%E4%BB%A3%E6%96%B9%E6%A1%88%EF%BC%9A

• 直接配置Prometheus采集应用指标
• 批处理任务使用https://prometheus.io/docs/practices/pushing/
• 需推送指标时考虑https://github.com/prometheus-community/PushProx%E6%88%96https://github.com/grafana/agent

TLS和基本认证

通过--web.config.file指定配置文件启用安全特性，格式详见https://github.com/prometheus/exporter-toolkit/blob/master/docs/web-configuration.md%E3%80%82%E9%85%8D%E7%BD%AE%E7%A4%BA%E4%BE%8B%EF%BC%9A

yaml
tls_config:
  cert_file: /etc/tls/cert.pem
  key_file: /etc/tls/key.pem
basic_auth_users:
  admin: $2a$10$VQwZ...  # bcrypt加密的密码