dojot/data-broker

dojot data-broker

镜像概述

本镜像包含dojot事件处理服务内部使用的事件代理实现，用于替代FIWARE Orion上下文代理之前提供的功能，是dojot生态系统中事件分发和处理的核心组件。

核心功能和特性

• 主题管理：处理运行时Kafka主题的创建，基于租户上下文隔离信息，确保服务仅能访问其被授权处理的事件
• 事件代理：基于灵活的订阅模式，在感兴趣的 parties（订阅者）之间路由设备事件，支持内部服务（如历史服务、流处理器）和外部应用
• 订阅机制：允许服务或应用通过订阅请求指定事件条件（设备信息、属性值条件或组合条件），满足条件的事件将被转发
• Kafka集成：订阅请求被接受后返回Kafka主题标识，消费者需自行跟踪处理队列头，支持按自身节奏处理事件
• 租户隔离：所有事件 topic 均受限于订阅请求发起的租户上下文，相同租户内相同条件的订阅可能返回同一Kafka主题
• 单分区主题：当前配置的主题均为单分区

使用场景和适用范围

适用于dojot生态系统中需要事件分发、过滤和路由的场景，包括：

• 设备创建、更新等元信息的分发
• 设备数据在内部服务间的流转（如历史数据存储、流处理）
• 外部应用获取满足特定条件的设备事件
• 需要基于租户隔离的事件处理场景

构建方法

由于使用TypeScript编写，可通过npm脚本构建：

shell
# 安装所有依赖
npm install
# 构建项目
npm run-script build

生成Docker容器可执行以下命令：

shell
docker build -t <tag> -f docker/Dockerfile .

构建完成后，将生成标签为<tag>的镜像。官方预构建版本可在dojot的https://hub.docker.com/r/dojot/data-broker/%E8%8E%B7%E5%8F%96%E3%80%82

运行方法

直接运行

构建完成后，可通过以下命令运行：

shell
npm run subscription

使用Docker Compose（推荐）

该组件依赖外部基础设施，推荐使用local/compose.yml中的docker-compose配置，快速搭建包含所有必要基础设施的完整环境：

shell
docker-compose -f local/compose.yml -p broker up

此命令将使用Docker Hub上的最新官方镜像。如需使用自定义镜像，可：

1. 修改local/compose.yml中broker服务的image字段为自定义镜像标签
2. 或注释掉broker服务，在同一网络中创建容器：

shell
docker run -it --rm -v $PWD:/opt/subscription-manager --network broker_default <tag> bash

上述命令通过卷挂载（-v $PWD:/opt/subscription-manager）提供了便捷的开发环境设置。

使用说明

元信息分发

服务处理基于租户上下文的Kafka主题创建，确保每个服务仅能访问其被授权的事件，实现信息隔离。

设备事件路由

当进程需要接收特定事件时，需向data-broker发送订阅请求，指定事件需满足的条件（设备信息、属性值条件或组合条件）。订阅请求被接受后，data-broker返回Kafka主题标识，订阅者可通过该主题获取满足条件的事件。

消费者注意事项

• 由于使用Kafka队列，消费者需自行跟踪处理队列头，以按自身节奏处理事件，避免数据丢失
• 当前所有主题均为单分区，需注意分区负载问题