expediadotcom/haystack-timeseries-aggregator

Haystack Timeseries Aggregator镜像说明

镜像概述

Haystack Timeseries Aggregator是Haystack生态中的核心模块之一，专注于指标数据的聚合处理。它从Kafka获取原始指标点，通过预定义规则完成聚合计算后，将结果推回Kafka，支持后续存储到时间序列数据库并在Haystack UI展示。

核心功能

1. 数据读取：从Kafka主题读取原始指标点；
2. 规则聚合：基于配置的聚合规则（如求和、平均值、最大值等）处理指标数据；
3. 结果推送：将聚合后的指标点写入指定Kafka主题；
4. 生态集成：与Haystack的span-timeseries-transformer配合生成原始指标，支持时间序列数据库存储和UI可视化。

使用场景

• 分布式系统性能指标的实时聚合分析；
• 监控系统中多维度指标的汇总统计；
• 大规模数据场景下的指标降维处理。

配置说明

需配置以下关键参数（示例）：

• KAFKA_BROKER：Kafka集群地址；
• INPUT_TOPIC：原始指标输入主题；
• OUTPUT_TOPIC：聚合结果输出主题；
• AGGREGATION_RULES：聚合规则配置文件路径。

部署示例

Docker Run命令

bash
docker run -d \
  -e KAFKA_BROKER=kafka:9092 \
  -e INPUT_TOPIC=raw-metrics \
  -e OUTPUT_TOPIC=aggregated-metrics \
  -v /path/to/rules.json:/app/rules.json \
  -e AGGREGATION_RULES=/app/rules.json \
  expediadotcom/haystack-timeseries-aggregator

Docker Compose片段

yaml
services:
  haystack-aggregator:
    image: expediadotcom/haystack-timeseries-aggregator
    environment:
      - KAFKA_BROKER=kafka:9092
      - INPUT_TOPIC=raw-metrics
      - OUTPUT_TOPIC=aggregated-metrics
      - AGGREGATION_RULES=/app/rules.json
    volumes:
      - ./rules.json:/app/rules.json