voltha/voltha-shovel

VOLTHA Kafka到Graphite指标桥接镜像

镜像概述

该镜像作为VOLTHA（接入网络控制与管理抽象层）的组件，提供Kafka到Graphite的指标桥接能力。它能够从Kafka消息队列中提取VOLTHA管理的接入网络设备指标数据（如设备状态、流量统计、服务质量等），并实时转发至Graphite监控系统，支持接入网络的统一监控、数据分析与运维自动化。

核心功能与特性

核心功能

• 指标数据转发：实现Kafka与Graphite之间的指标数据桥接，支持VOLTHA管理的多种接入技术（PON、xDSL、Docsis、G.FAST等）的指标采集与传输。
• 标准化处理：遵循VOLTHA统一OAM（操作、管理、维护）抽象规范，确保指标数据格式的一致性与 vendor 无关性。
• 实时性保障：低延迟处理Kafka消息，保证监控数据的实时性，满足网络运维对实时指标的需求。

特性

• 轻量化部署：容器化设计，可灵活部署于边缘设备、中心机房通用服务器或数据中心，适应VOLTHA的分布式架构。
• 配置灵活性：通过环境变量实现Kafka、Graphite连接参数及指标前缀的自定义配置，适配不同部署场景。
• 可扩展性：支持水平扩展，可通过增加实例数量提升指标处理能力，适应大规模接入网络的监控需求。

使用场景与适用范围

• 接入网络集中监控：服务提供商需将VOLTHA管理的多类型接入设备（如GPON OLT、xDSL modem）的指标数据集中汇聚至Graphite时，作为数据传输桥梁。
• 网络运维自动化：结合Graphite的监控告警功能，实现接入网络异常指标（如丢包率、设备离线）的实时检测与告警触发。
• 云化网络集成：在VOLTHA云化部署架构中，作为DevOps流程的一部分，将网络指标无缝集成到云监控平台（如Prometheus+Grafana生态）。

使用方法与配置说明

前提条件

• 已部署Kafka集群，且VOLTHA相关组件（如OLT适配器、BBSim模拟器）已配置向指定Kafka主题发送指标数据。
• 已部署Graphite服务（或兼容碳协议的监控系统），用于接收和存储指标数据。

Docker运行示例

bash
docker run -d \
  --name voltha-kafka-graphite-bridge \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka:9092 \
  -e KAFKA_TOPIC=voltha.metrics \
  -e GRAPHITE_HOST=graphite \
  -e GRAPHITE_PORT=2003 \
  -e METRIC_PREFIX=voltha.access \
  -e CONSUMER_GROUP_ID=voltha-graphite-bridge-01 \
  docker.xuanyuan.run/voltha/kafka-graphite-bridge:latest

环境变量配置说明

Docker Compose配置示例

yaml
version: '3.8'
services:
  kafka-graphite-bridge:
    image: docker.xuanyuan.run/voltha/kafka-graphite-bridge:latest
    container_name: voltha-kafka-graphite-bridge
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka:9092
      - KAFKA_TOPIC=voltha.metrics
      - GRAPHITE_HOST=graphite
      - GRAPHITE_PORT=2003
      - METRIC_PREFIX=voltha.access.pon
      - CONSUMER_GROUP_ID=voltha-graphite-bridge-pon
    depends_on:
      - kafka
      - graphite
    restart: unless-stopped

  kafka:
    image: docker.xuanyuan.run/confluentinc/cp-kafka:7.3.0
    # Kafka配置省略...

  graphite:
    image: docker.xuanyuan.run/graphiteapp/graphite-statsd:1.1.10
    # Graphite配置省略...

贡献与开发

单元测试

若需为该桥接组件贡献代码，可通过以下步骤进行单元测试：

1. 按照OpenCord WIKI配置开发环境。
2. 在项目根目录执行：

   bash
   source env.sh  # 加载环境变量并创建虚拟环境
   make utest-with-coverage  # 执行单元测试并生成覆盖率报告
   

3. 测试报告需以JUnit XML格式（命名为junit-report.xml）输出，以便Jenkins CI系统收集。

适配器测试

针对特定接入技术适配器的指标桥接测试，需在适配器目录下创建test.mk文件定义测试目标，例如：

makefile
# voltha/adapters/gpon_adapter/test.mk
.PHONY: test
test:
  @echo "Testing GPON adapter metrics bridge"
  @./gpon_metrics_test.py  # 执行测试脚本，生成junit-report.xml

测试框架会自动执行test.mk中的首个目标，并收集覆盖率数据。