radarbase/radar-backend

RADAR-CNS后端

RADAR-Backend是基于Confluent Platform的Java应用，用于标准化、分析和持久化由RADAR-CNS数据源收集的数据。它支持RADAR-CNS项目的后端需求。数据使用RADAR-CNShttps://github.com/RADAR-base/RADAR-Schemas中存储的模式，以Apache Avro格式进行生产和消费。

RADAR-Backend提供了一个抽象层，用于监控和分析可穿戴数据的流，并将数据写入热存储或冷存储。RADAR-Backend的应用程序编程接口(API)使集成其他主题和可穿戴设备的过程更加容易。目前它提供MongoDB作为热存储，HDFS数据存储作为冷存储。可以通过属性文件轻松调整这些存储。流监控器监控主题并在特定情况下通知用户（例如通过电子邮件）。

依赖项

在您的机器上运行RADAR-Backend的先决条件如下：

• Java 8
• Confluent Platform 5.0.0（运行Zookeeper、Kafka-broker(s)、Schema-Registry和Kafka-REST-Proxy服务的实例）
• SMTP服务器，用于从监控器发送通知

安装

1. 安装上述提到的依赖项。

2. 克隆radar-backend仓库。

   shell
   git clone https://github.com/RADAR-base/radar-backend.git
   

3. 从项目目录构建项目

   shell
   # 导航到项目目录
   cd RADAR-Backend/
   
   # 清理
   ./gradlew clean
   
   # 构建
   ./gradlew distTar
   
   # 解压缩二进制文件
   sudo mkdir -p /usr/local && \
   sudo tar --strip-components 1 -C /usr/local xzf build/distributions/*.tar.gz
   

   现在后端可作为/usr/local/bin/radar-backend脚本使用。

使用方法

RADAR命令行有三个子命令：stream、monitor和mock。stream命令将启动所有流，monitor命令将启动所有监控器，mock命令将向后端发送模拟数据。在发出任何这些命令之前，启动Confluent平台，包括zookeeper、kafka、schema-registry和rest-proxy组件。将build/libs/radarbackend-1.0.jar和radar.yml放在同一个文件夹中，然后修改radar.yml：

RADAR-Backend流

1. 在radar.yml中，指定您希望以何种mode运行应用程序。有两种选择：standalone和high_performance。standalone为每个流启动一个线程，不检查优先级，而high_performance启动与相关优先级值相同数量的线程。

2. 如果Kafka的server.properties中auto.create.topics.enable为false，在启动前必须手动创建主题。流服务器将打印需要创建的主题。

3. 使用配置好的radar.yml和stream参数运行radar-backend

   shell
   radar-backend -c path/to/radar.yml stream
   

手机使用事件流使用100万个元素的内部缓存，可能占用约50 MB内存。调整org.radarcns.stream.phone.PhoneUsageStream.MAX_CACHE_SIZE可以更改此设置。

RADAR-backend监控器

要获取Empatica E4电池状态的电子邮件通知，需要一个未设置密码的电子邮件服务器，例如在localhost上。

1. 对于电池状态监控器，配置如下

   yaml
   battery_monitor:
     # 要监控的电池级别
     level: CRITICAL 
     # 要通知的电子邮件地址列表   
     notify:
       - project_id: s1
         email_address:
           - test@thehyve.nl
       - project_id: s2
         email_address:
           - radar@thehyve.nl
     # 电子邮件服务器的主机名     
     email_host: localhost
     # 电子邮件服务器的端口   
     email_port: 25
     # 通知电子邮件账户   
     email_user: noreply@example.com
     # 要监控的主题列表（与监控器行为相关）   
     topics:
       - android_empatica_e4_battery_level
   

2. 对于设备连接监控器，配置如下

   yaml
   disconnect_monitor:
     # 超时时间（毫秒）-> 5分钟
     timeout: 300000
     email_host: localhost
     email_port: 25
     email_user: no-reply@example.com
     notify:
       - project_id: s1
         email_address:
           - test@thehyve.nl
       - project_id: s2
         email_address:
           - radar@thehyve.nl
     # 温度读数发送非常规律，但不会太频繁。
     topics:
       - android_empatica_e4_temperature
   

3. 对于源统计监控器，配置要监控哪些源主题以输出一些基本的输出统计信息（如最后一次看到的时间）

   yaml
   stream:
     statistics_monitors:
       # 人类可读的监控器名称
       - name: Empatica E4
         # 要聚合的主题。这可以接受任意数量的主题，可能会导致略有不同的统计信息
         topics:
           - android_empatica_e4_blood_volume_pulse_1min
         # 要写入结果的主题。这应遵循约定source_statistics_[provider]_[model]，其中produer和model如RADAR-Schemas中定义
         output_topic: source_statistics_empatica_e4
         # 发送结果前要聚合的最大批大小。默认为1000。
         max_batch_size: 500
         # 刷新超时（毫秒）。如果在这段时间内批大小不大于max_batch_size，则当前批被强制刷新到输出主题。默认为60000 = 1分钟。
         flush_timeout: 15000
       - name: Biovotion VSM1
         topics:
           - android_biovotion_vsm1_acceleration_1min
         output_topic: source_statistics_biovotion_vsm1
       - name: RADAR pRMT
         topics:
           - android_phone_acceleration_1min
           - android_phone_bluetooth_devices
           - android_phone_sms
         output_topic: source_statistics_radar_prmt
   

4. 使用配置好的radar.yml和monitor参数运行radar-backend

   shell
   radar-backend -c path/to/radar.yml monitor
   

向后端发送模拟数据

1. 在radar.yml中配置REST代理设置：

   yaml
   rest-proxy:
     host: radar-test.thehyve.net
     port: 8082
     protocol: http
   

2. 要发送预制数据，创建一个mock_data.yml YAML文件，包含以下内容：

   yaml
   data:
     - topic: topic1
       file: topic1.csv
       key_schema: org.radarcns.kafka.ObservationKey
       value_schema: org.radarcns.passive.empatica.EmpaticaE4Acceleration
   

   每个值都有一个要发送数据的主题、一个包含数据的文件、一个键的模式类和一个值的模式类。还要为每个条目创建一个CSV文件：

   csv
   userId,sourceId,time,timeReceived,acceleration
   a,b,14191933191.223,14191933193.223,[0.001;0.3222;0.6342]
   a,c,14191933194.223,14191933195.223,[0.13131;0.6241;0.2423]
   

   注意，对于数组条目，使用括号（[和]）来括住值，并使用;作为分隔符。

3. 要在某个backend_mock_empatica_e4_<>主题上生成具有多个设备的数据，运行（将<num-devices>替换为所需的设备数量）：

   shell
   radar-backend -c path/to/radar.yml mock --devices <num-devices>
   

   按Ctrl-C停止。

4. 要生成在第2点中配置的文件数据，运行

   shell
   radar-backend -c path/to/radar.yml mock --file mock_data.yml
   

   数据发送将自动停止。

Docker镜像

后端已https://hub.docker.com/r/radarcns/radar-backend-kafka%E3%80%82%E6%8C%82%E8%BD%BD%60/etc/radar.yml%60%E6%96%87%E4%BB%B6%E4%BB%A5%E9%85%8D%E7%BD%AE%E6%B5%81%E6%88%96%E7%9B%91%E6%8E%A7%E5%99%A8%E3%80%82

此镜像需要以下环境变量：

• KAFKA_REST_PROXY：有效的Rest-Proxy实例
• KAFKA_SCHEMA_REGISTRY：有效的Confluent Schema Registry
• KAFKA_BROKERS：预期的broker数量（默认：3）

有关完整的使用场景，请查看RADAR-base的docker-compose文件，可在https://github.com/RADAR-base/RADAR-Docker/blob/backend-integration/dcompose-stack/radar-cp-hadoop-stack/docker-compose.yml%E8%8E%B7%E5%8F%96%E3%80%82

贡献

代码应使用https://google.github.io/styleguide/javaguide.html%E8%BF%9B%E8%A1%8C%E6%A0%BC%E5%BC%8F%E5%8C%96%E3%80%82%E5%A6%82%E6%9E%9C%E6%82%A8%E6%83%B3%E8%B4%A1%E7%8C%AE%E5%8A%9F%E8%83%BD%E6%88%96%E4%BF%AE%E5%A4%8D%EF%BC%8C%E8%AF%B7%E6%B5%8F%E8%A7%88%E6%88%91%E4%BB%AC%E7%9A%84https://github.com/RADAR-base/RADAR-Backend/issues%EF%BC%8C%E5%B9%B6%E8%AF%B7%E6%8F%90%E5%87%BA%E6%8B%89%E5%8F%96%E8%AF%B7%E6%B1%82%E3%80%82

RADAR-Backend目前有两个API：一个用于流数据（RADAR-Stream），一个用于监控主题（RADAR-Monitor）。要为这些API做出贡献，请注意以下事项。

扩展RADAR-Stream

RADAR-Stream是Kafka流之上的一层。主题由流分两个阶段处理。首先，一组传感器流将传感器数据聚合到预定义的时间窗口中（例如10秒）。接下来，内部主题聚合和转换已经由早期流处理的数据。

KafkaStreams目前使用主从模型进行通信。https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/StreamMaster.java定义流主，而https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/StreamWorker.java表示流从。主流创建、启动和停止与相应主注册的流从列表。虽然经典的Kafka消费者需要两个实现来支持独立和组执行，但StreamWorker通过一个实现提供了这两种行为。

要扩展RADAR-Stream API，请按照以下步骤操作（参见org.radarcns.passive.empatica包作为示例）：

• 对于每个主题，创建一个https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/StreamWorker.java或更方便地扩展https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/SensorStreamWorker.java
• 将流主题添加到stream: streams: [{class: MyClass}]配置中

Empatica E4

目前，RADAR-Backend提供了对流、监控、存储由RADAR-AndroidApplication生成的Empatica E4主题数据的实现。它定义了以下流：

• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4Acceleration.java聚合来自加速度计的数据
• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4BatteryLevel.java聚合电池级别信息
• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4BloodVolumePulse.java聚合血容量脉冲数据
• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4ElectroDermalActivity.java聚合皮肤电活动信息
• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4InterBeatInterval.java聚合心跳间隔数据
• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4Temperature.java聚合来自温度传感器的数据

以及一个内部主题：

• https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/empatica/E4HeartRate.java：从心跳间隔开始，此聚合器计算心率

https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/DeviceTimestampExtractor.java实现了一个TimestampExtractor，使得：给定一个通用的Apache Avro对象作为输入，它提取一个名为timeReceived的字段。https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/stream/DeviceTimestampExtractor.java适用于当前可用的整个传感器模式集。

Android手机

对于Android手机，有一个流可以从Google Play商店类别中获取应用程序类别，用于应用程序使用事件。

扩展RADAR-Monitor

监控器可用于评估单个流的状态，例如每个设备是否仍然在线，是否具有可接受的值，以及是否以可接受的速率传输。要创建新的监控器，请扩展https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/monitor/AbstractKafkaMonitor.java。要从命令行使用监控器，请修改https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/monitor/KafkaMonitorFactory.java。有关示例，请参见https://github.com/RADAR-base/RADAR-Backend/blob/master/src/main/java/org/radarcns/monitor/DisconnectMonitor.java。

注意

• 可以使用-c标志指定YAML配置文件的另一个路径：

  shell
  # 自定义
  java -jar radarbackend-1.0.jar -c path/to/radar.yml
  

• 默认日志路径是jar文件夹