tryretool/telemetry

镜像概述

本镜像为自托管部署场景提供遥测数据收集能力，旨在帮助用户监控私有环境中应用及系统的运行状态。通过轻量级部署方式，实现对系统指标、应用日志、事件数据的采集、初步处理与转发，支持对接多种监控后端，为自托管环境提供可观测性基础。

核心功能与特性

数据收集能力

• 支持多类型数据源：系统级指标（CPU、内存、磁盘、网络）、应用性能指标（响应时间、错误率）、结构化/非结构化日志、自定义事件数据
• 提供多种采集方式：内置探针（如HTTP接口、文件监控）、集成常用客户端（Prometheus Exporter、StatsD）、支持自定义采集脚本

数据处理与转换

• 实时数据过滤：支持按规则过滤无关数据，减少传输量
• 数据聚合与清洗：提供基础聚合能力（如求和、平均值、计数），支持字段提取与格式转换
• 本地缓存机制：网络异常时缓存数据，恢复后自动补发，避免数据丢失

数据传输与集成

• 多后端支持：兼容主流监控系统（Prometheus、Grafana、InfluxDB、Elasticsearch）、消息队列（Kafka、RabbitMQ）及自定义HTTP端点
• 加密传输：支持TLS加密数据传输，保障敏感信息安全
• 可配置传输策略：支持定时批量传输、实时流式传输两种模式

轻量级与可靠性

• 低资源占用：优化内存与CPU消耗，适用于资源受限的自托管环境
• 高可用性：支持健康检查接口，异常时自动重启恢复
• 容器化设计：与Docker生态深度集成，支持动态扩缩容

使用场景与适用范围

典型应用场景

• 自托管应用监控：监控私有部署的Web应用、数据库、中间件等组件的运行状态
• 私有云环境：在企业私有云、混合云架构中统一收集各节点遥测数据
• 边缘计算节点：在边缘设备或本地化部署环境中实现轻量化数据采集
• 开发/测试环境：为自托管的开发、测试集群提供临时监控能力

适用范围

• 支持x86_64、ARM架构的Linux系统
• 兼容Docker 19.03+及Kubernetes 1.16+环境
• 适用于需要数据本地化处理、禁止外部数据出境的合规场景

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name telemetry-collector \
  --restart unless-stopped \
  -p 9090:9090 \  # 数据接收端口（如Prometheus指标暴露）
  -v /path/to/config.yaml:/app/config.yaml \  # 挂载自定义配置文件
  -v /var/log:/host/log:ro \  # 只读挂载主机日志目录（如需收集主机日志）
  -e BACKEND_TYPE=prometheus \  # 目标后端类型
  -e BACKEND_URL=http://prometheus:9090/api/v1/write \  # 后端服务地址
  -e COLLECTION_INTERVAL=10s \  # 数据采集间隔
  telemetry-collector:latest

Docker Compose 示例

yaml
version: '3.8'
services:
  telemetry-collector:
    image: telemetry-collector:latest
    container_name: telemetry-collector
    restart: unless-stopped
    ports:
      - "9090:9090"
    volumes:
      - ./config.yaml:/app/config.yaml
      - /var/log:/host/log:ro
      - /proc:/host/proc:ro  # 挂载主机proc文件系统（用于系统指标采集）
    environment:
      - BACKEND_TYPE=influxdb
      - BACKEND_URL=http://influxdb:8086/write?db=telemetry
      - BACKEND_USER=admin
      - BACKEND_PASSWORD=secret
      - COLLECTION_INTERVAL=5s
      - LOG_LEVEL=info
    depends_on:
      - influxdb  # 假设依赖InfluxDB后端

  influxdb:
    image: influxdb:2.7
    container_name: influxdb
    restart: unless-stopped
    environment:
      - DOCKER_INFLUXDB_INIT_MODE=setup
      - DOCKER_INFLUXDB_INIT_USERNAME=admin
      - DOCKER_INFLUXDB_INIT_PASSWORD=secret
      - DOCKER_INFLUXDB_INIT_ORG=my-org
      - DOCKER_INFLUXDB_INIT_BUCKET=telemetry
    ports:
      - "8086:8086"

核心配置参数

环境变量配置

自定义配置文件

通过挂载config.yaml可实现更细粒度配置（优先级高于环境变量），示例配置：

yaml
# 数据采集配置
collection:
  interval: 10s
  sources:
    system:  # 系统指标采集
      enabled: true
      metrics: [cpu, memory, disk, network]
    logs:  # 日志采集
      enabled: true
      paths:
        - /host/log/nginx/access.log
        - /host/log/app/*.log
      parser: regex  # 日志解析方式：regex/json
      pattern: '^(\S+) \- \[(\S+)\] "(\S+) (\S+) (\S+)" (\d+) (\d+)

## 注意事项

- 挂载主机目录时建议使用`ro`（只读）模式，避免容器对主机文件系统造成意外修改
- 首次部署需根据目标后端类型（如Prometheus、InfluxDB）提前创建对应的数据存储（如数据库、Bucket）
- 高流量场景下建议调整`MAX_CACHE_SIZE`与`COLLECTION_INTERVAL`，平衡性能与数据完整性
- 生产环境中建议通过配置文件（而非环境变量）管理敏感信息（如认证凭据）  # 自定义正则表达式
    custom:  # 自定义HTTP指标采集
      enabled: true
      endpoints:
        - url: http://app:8080/metrics
          method: GET
          interval: 30s

# 数据处理配置
processing:
  filters:
    - type: exclude  # 排除规则
      field: log_level
      value: debug
  aggregations:
    - metric: http_requests_total
      function: sum
      window: 5m

# 数据传输配置
backend:
  type: influxdb
  url: http://influxdb:8086/write?db=telemetry
  auth:
    username: admin
    password: secret
  timeout: 10s
  retry:
    max_attempts: 3
    delay: 5s

注意事项

• 挂载主机目录时建议使用__CODE_TOKEN_27__（只读）模式，避免容器对主机文件系统造成意外修改
• 首次部署需根据目标后端类型（如Prometheus、InfluxDB）提前创建对应的数据存储（如数据库、Bucket）
• 高流量场景下建议调整__CODE_TOKEN_28__与__CODE_TOKEN_29__，平衡性能与数据完整性
• 生产环境中建议通过配置文件（而非环境变量）管理敏感信息（如认证凭据）