burningalchemist/sql_exporter

SQL Exporter for Prometheus

概述

SQL Exporter是一个配置驱动的导出器，用于从数据库管理系统（DBMS）收集指标并暴露给Prometheus监控系统。它开箱即用地支持以下数据库及兼容接口：

• MySQL
• PostgreSQL
• Microsoft SQL Server
• Oracle Database
• Clickhouse

• ---

• Vertica

实际上，任何有Go驱动可用的DBMS，在重新构建包含该DBMS驱动的二进制文件后，都可以被监控。

收集的指标和生成这些指标的查询完全由配置定义。SQL查询被分组为收集器——逻辑上的查询组（例如“查询统计”或“I/O统计”），映射到它们填充的指标。收集器可以是特定于DBMS的（例如“MySQL InnoDB统计”），也可以是特定于部署的自定义收集器（例如“定价数据新鲜度”）。这意味着您可以快速轻松地设置自定义收集器来衡量数据质量，无论在您的具体场景中这意味着什么。

根据Prometheus的理念，数据抓取是同步的（指标在每次/metrics轮询时收集），但为了将负载保持在合理水平，可以为每个收集器选择性地设置最小收集间隔，当查询频率高于配置的间隔时，将生成缓存的指标。

核心功能和特性

• 多数据库支持：原生支持MySQL、PostgreSQL、SQL Server等多种主流数据库，通过添加Go驱动可扩展支持更多DBMS。
• 配置驱动的收集器：完全通过配置文件定义收集逻辑，支持将SQL查询分组为收集器，灵活定制指标收集规则。
• 缓存机制：支持为每个收集器设置最小收集间隔，当Prometheus抓取频率高于该间隔时返回缓存指标，降低数据库负载。
• 自定义数据质量监控：可快速配置自定义收集器，监控特定业务场景下的数据质量指标（如数据新鲜度、完整性等）。
• Prometheus兼容：符合Prometheus规范，通过/metrics端点暴露指标，无缝集成到Prometheus监控体系。

使用场景和适用范围

• 多数据库性能监控：适用于需要集中监控多种数据库性能指标的场景，如MySQL的InnoDB状态、PostgreSQL的连接数、SQL Server的查询性能等。
• 业务数据质量监控：通过自定义收集器监控关键业务数据的状态，如订单数据完整性、用户数据更新频率等。
• Prometheus生态集成：作为Prometheus的补充组件，为监控系统提供数据库层面的细粒度指标，适用于已采用Prometheus作为核心监控平台的环境。

致谢

本项目是https://github.com/free/sql_exporter%E5%88%9B%E5%BB%BA%E7%9A%84%E2%80%9C%E9%80%82%E7%94%A8%E4%BA%8EPrometheus%E7%9A%84%E6%95%B0%E6%8D%AE%E5%BA%93%E6%97%A0%E5%85%B3SQL%E5%AF%BC%E5%87%BA%E5%99%A8%E2%80%9D%E7%9A%84%E6%B0%B8%E4%B9%85%E5%88%86%E6%94%AF%E7%89%88%E6%9C%AC%E3%80%82