reportportal/service-metrics-gatherer

service-metrics-gatherer 镜像文档

镜像概述和主要用途

service-metrics-gatherer是一个指标收集器服务，用于从多个数据源（如Elasticsearch、RabbitMQ、PostgreSQL）收集、处理和存储指标数据，并支持与Grafana集成以展示可视化仪表盘。该服务通过环境变量提供灵活配置，可控制指标收集时间窗口、数据存储期限、日志级别、SSL连接及模型自动删除策略等核心功能。

核心功能和特性

• 多数据源集成：支持与Elasticsearch（数据存储与查询）、RabbitMQ（消息通信）、PostgreSQL（数据持久化）集成
• Grafana可视化：可配置Grafana实例URL，自动创建数据源并展示指标仪表盘
• 时间窗口控制：自定义指标收集的允许时间段及时区，确保在指定时间范围内执行收集任务
• 数据生命周期管理：自动删除超过最大存储天数的指标数据，默认保留500天
• 灵活日志配置：支持DEBUG、INFO、ERROR等日志级别，满足不同调试和监控需求
• SSL安全连接：提供完整的SSL配置选项，包括证书验证、客户端证书/密钥设置
• 索引管理：支持为项目索引添加前缀，确保与其他服务（如service-auto-analyzer）索引一致性
• 模型自动优化：可配置自定义自动分析模型和建议模型的删除策略，触发模型重新训练

使用场景和适用范围

适用于需要集中监控多个服务指标的场景，包括但不限于：

• 企业级应用监控系统：收集分布式服务的运行指标，进行统一存储和分析
• 数据分析平台：定期从消息队列和数据库收集业务指标，支持后续统计分析
• 自动化运维环境：监控系统资源使用情况、任务执行状态等指标，结合Grafana实现可视化告警
• 模型训练优化：通过配置模型删除策略，自动清理性能不达标的模型，确保分析准确性

详细配置说明（环境变量）

Elasticsearch 连接配置

RabbitMQ 连接配置

Grafana 集成配置

PostgreSQL 连接配置

时间控制配置

数据存储配置

日志配置

模型删除策略配置

非Docker环境安装说明

Linux 系统

1. 创建虚拟环境（示例名称：/venv）：

   shell
   python -m venv /venv
   

2. 安装依赖库：

   shell
   /venv/bin/pip install --no-cache-dir -r requirements.txt
   

3. 激活虚拟环境：

   shell
   /venv/bin/activate
   

4. 启动uwsgi服务器（可调整worker数量、端口等参数）：

   shell
   /venv/bin/uwsgi -workers 1 --socket :3031 --wsgi-file main.py --master --http :5000 --threads 1 --lazy-apps 1 --wsgi-env-behavior holy --virtualenv /venv
   

Windows 系统

1. 创建虚拟环境（示例名称：env）：

   cmd
   python -m venv env
   

2. 激活虚拟环境：

   cmd
   call env\Scripts\activate.bat
   

3. 安装依赖库：

   cmd
   python -m pip install -r requirements_windows.txt
   

4. 启动服务：

   cmd
   python main.py