radarbase/radar-upload-connect-backend

RADAR-base Data Uploader 文档

镜像概述和主要用途

RADAR-base Data Uploader 是一个Web应用程序，用于向RADAR-Base平台上传数据。它包含一个Kafka Connect源连接器，能够处理上传的数据，将其解析为适当的格式并发送到Kafka。

主要用途：

• 通过Web界面从设备和其他来源上传数据
• 监控创建记录的状态

核心功能和特性

主要功能

• 提供直观的Web界面用于数据上传和管理
• 支持多种数据格式和设备类型
• 与RADAR-Base ManagementPortal集成进行身份验证和授权
• 实时监控数据上传状态和处理进度
• 支持多项目和多参与者的数据管理

组件组成

该项目包含三个核心组件：

1. 前端Web应用 (radar-upload-frontend)：用户可通过此界面上传数据
2. 后端Web服务 (radar-upload-backend)：存储上传的数据及其元数据
3. Kafka Connect源连接器 (kafka-connect-upload-source)：从后端加载数据并发送到Kafka

界面截图

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_003.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_010.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_011.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_012.png

使用场景和适用范围

RADAR-base Data Uploader适用于以下场景：

• 研究人员需要手动上传从设备收集的数据到RADAR-Base平台
• 管理员需要监控数据上传状态和处理进度
• 项目负责人需要管理多个参与者的数据上传
• 需要支持无法直接连接到RADAR-Base平台的设备数据上传

安装部署

Docker Compose部署

要从源代码安装功能完整的RADAR-base数据上传器，请使用根目录下的docker-compose.yml：

bash
docker-compose up -d --build

注意：此部署不包括完整的RADAR-Base堆栈。有关完整安装指南，请访问https://github.com/RADAR-base/RADAR-Docker%E6%88%96https://github.com/RADAR-base/RADAR-Kubernetes%E3%80%82

使用方法

用户使用流程

要使用数据上传器，您需要在环境的ManagementPortal应用程序上拥有一个账户。如果没有，请向系统管理员申请。

1. 使用您的ManagementPortal账户凭据登录上传器应用程序
2. 点击"Approve"授权上传应用程序执行所提及的操作
3. 选择您要使用的项目
4. 点击"UPLOAD"按钮以上传文件
5. 选择参与者和文件数据源类型，然后点击"CREATE RECORD"
6. 记录创建后，上传相关文件，然后点击"UPLOAD"
7. 完成文件上传后，点击"DONE"以完成整个过程
8. 您将看到为相应参与者创建的新记录，状态为"READY"
9. 您可以切换到"RECORD"选项卡监控记录的状态

有关更多信息，请参阅详细步骤指南（含截图）。

配置说明

配置RADAR-base Data Uploader涉及配置上述三个组件。

1. 配置radar-upload-backend

将etc/upload.yml.template复制到etc/upload.yml，并修改数据库凭据和OAuth客户端凭据。以下是可能的属性和说明：

yaml
baseUri: "http://0.0.0.0:8085/upload/api/"
managementPortalUrl: "http://managementportal-app:8080/managementportal/"
jdbcDriver: "org.postgresql.Driver"
jdbcUrl: "jdbc:postgresql://radarbase-postgresql:5432/uploadconnector"
jdbcUser: "username"  # 更改为您的数据库用户名
jdbcPassword: "password"  # 更改为您的数据库密码
additionalPersistenceConfig:
  "hibernate.dialect": "org.hibernate.dialect.PostgreSQL95Dialect"
enableCors: yes  # 如果要为此组件启用CORS过滤器，请指定yes
clientId: "radar_upload_backend"  # 配置您的OAuth客户端ID
clientSecret: "secret"  # 配置客户端密钥
sourceTypes:  # 支持上传数据的数据源类型
  - name: phone-acceleration
    topics:
      - android_phone_acceleration
    contentTypes:
      - text/csv
    timeRequired: false
    sourceIdRequired: false
    configuration:
      setting1: value1
      setting2: value2
  - name: acceleration-zip
    topics:
      - android_phone_acceleration
    contentTypes:
      - application/zip
    timeRequired: false
    sourceIdRequired: false
  # 其他数据源类型配置...

如果在启动服务后修改了upload.yml文件，请重启服务：

bash
docker-compose restart radar-upload-backend

添加对新设备类型的支持

要添加对其他设备类型的支持，请在sourceTypes列表中添加一个新的sourceType条目。单个sourceType条目定义如下：

yaml
- name: acceleration-zip  # 数据源或设备的唯一标识符 (*必需)
  topics:  # 要发送数据的主题列表
    - android_phone_acceleration
  contentTypes:  # 数据的内容类型
    - application/zip
  timeRequired: false  # 是否需要用户提供上传的日期时间（例如，当数据没有时间戳时）
  sourceIdRequired: false  # 如果source-id是上传数据的必需项，请指定true

2. 配置Kafka Source Connector

将etc/source-upload.properties.template复制到etc/source-upload.properties，并修改OAuth客户端凭据和支持的转换器类。以下是可能的属性和说明：

添加对新设备类型的支持

要添加对新设备类型的数据处理支持，请实现一个能够处理相应设备数据的ConverterFactory，并将类名添加到upload.source.record.converter.classes列表中。

3. 配置radar-upload-frontend

配置radar-upload-frontend需要为docker容器配置正确的环境变量：

后端应用说明

后端应用程序负责存储上传的文件并管理其他状态。它提供API接口供前端调用，处理文件存储、元数据管理和与Kafka连接器的交互。后端应用程序还负责与ManagementPortal集成，处理用户认证和授权。