radarbase/radar-connect-upload-source

RADAR-base 数据上传器

镜像概述和主要用途

RADAR-base 数据上传器是一个Web应用程序，支持将数据上传到RADAR-Base平台。它包含一个Kafka Connect源连接器，用于处理上传的数据，将其解析为适当格式并发送到Kafka。主要用途包括：通过Web界面从设备和其他来源上传数据，以及监控创建的记录状态。

核心功能和特性

• 多组件架构：包含前端Web应用、后端Web服务和Kafka Connect源连接器，协同完成数据上传和处理流程
• Web界面交互：提供直观的用户界面，支持登录、文件上传、记录状态查看等操作
• 数据处理与转发：通过Kafka Connect源连接器将上传数据解析并发送到Kafka
• 多设备支持：可配置支持多种设备类型的数据上传，通过扩展转换器支持新设备
• 状态监控：实时监控上传记录的处理状态，确保数据上传流程可追踪

组件

该项目包含三个核心组件：

1. 前端Web应用（radar-upload-frontend）：用户可通过此界面上传数据
2. 后端Web服务（radar-upload-backend）：存储上传的数据及其元数据
3. Kafka Connect源连接器（kafka-connect-upload-source）：从后端加载数据并发送到Kafka

截图

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_003.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_010.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_011.png

!https://raw.githubusercontent.com/RADAR-base/radar-upload-source-connector/master/docs/assets/Selection_012.png

使用场景和适用范围

适用于需要向RADAR-Base平台手动上传数据的场景，如：

• 设备数据离线采集后的批量上传
• 第三方数据源的数据导入
• 测试环境中的数据注入
• 需要监控数据上传状态的科研或临床数据管理场景

使用方法和配置说明

用户使用流程

若您需要向RADAR-base上传数据，需先在环境的ManagementPortal应用中拥有账户（如无账户，请联系系统管理员申请）。使用步骤如下：

1. 使用ManagementPortal的账户凭据登录上传器应用
2. 点击“Approve”授权上传应用执行指定操作
3. 选择要操作的项目
4. 点击“UPLOAD”按钮上传文件
5. 选择参与者和文件数据源类型，点击“CREATE RECORD”创建记录
6. 记录创建后，上传相关文件，然后点击“UPLOAD”
7. 完成文件上传后，点击“DONE”结束流程
8. 此时将为对应参与者创建状态为“READY”的新记录
9. 可切换到“RECORD”标签页监控记录状态

详细步骤指南（含截图）请参见：分步指南

安装方法

如需从源代码安装完整功能的RADAR-base数据上传器，请使用根目录下的docker-compose.yml：

bash
docker-compose up -d --build

注意：本部分不涵盖完整RADAR-Base栈的安装或配置。完整安装指南请参见https://github.com/RADAR-base/RADAR-Docker%E6%88%96https://github.com/RADAR-base/RADAR-Kubernetes%E3%80%82

详细配置说明

配置数据上传器需分别配置上述三个组件。

1. 配置 radar-upload-backend

将etc/upload.yml.template复制为etc/upload.yml，修改数据库凭据和OAuth客户端凭据。以下是配置示例及说明：

yaml
baseUri: "http://0.0.0.0:8085/upload/api/"
managementPortalUrl: "http://managementportal-app:8080/managementportal/"
jdbcDriver: "org.postgresql.Driver"
jdbcUrl: "jdbc:postgresql://radarbase-postgresql:5432/uploadconnector"
jdbcUser: "username"  # 更改为数据库用户名
jdbcPassword: "password"  # 更改为数据库密码
additionalPersistenceConfig:
  "hibernate.dialect": "org.hibernate.dialect.PostgreSQL95Dialect"
enableCors: yes  # 如需启用CORS过滤器，设为yes
clientId: "radar_upload_backend"  # 配置OAuth客户端ID
clientSecret: "secret"  # 配置客户端密钥
sourceTypes:  # 支持上传的数据源类型列表
  - name: phone-acceleration  # 数据源唯一标识（必填）
    topics:  # 发送数据的Kafka主题列表
      - android_phone_acceleration
    contentTypes:  # 支持的文件内容类型
      - text/csv
    timeRequired: false  # 是否需要用户提供上传数据的日期时间（如数据无时间戳）
    sourceIdRequired: false  # 是否必须提供source-id才能上传数据
    configuration:  # 额外配置
      setting1: value1
      setting2: value2
  # 其他数据源类型配置示例...
  - name: acceleration-zip
    topics:
      - android_phone_acceleration
    contentTypes:
      - application/zip
    timeRequired: false
    sourceIdRequired: false

添加新设备类型支持：在sourceTypes列表中添加新条目，包含name（唯一标识）、topics、contentTypes等必填字段。

修改配置文件后，重启服务：

bash
docker-compose restart radar-upload-backend

2. 配置 Kafka 源连接器

将etc/source-upload.properties.template复制为etc/source-upload.properties，修改OAuth客户端凭据和支持的转换器类。以下是主要配置属性说明：

添加新设备类型处理支持：实现可处理对应设备数据的ConverterFactory，并将类名添加到upload.source.record.converter.classes列表中。

3. 配置 radar-upload-frontend

前端配置通过Docker容器环境变量实现，主要环境变量说明：