neicnordic/sda-doa

NeIC sda-doa Data Out API

镜像概述

NeIC sda-doa Data Out API是一个用于数据输出的接口服务，主要用于处理文件和数据集的导出请求。该服务集成了REST端点、TLS加密、消息队列（RabbitMQ）、数据库（PostgreSQL）和文件存储（POSIX/S3）等组件，支持JWT身份验证和Crypt4GH加密，提供安全可控的数据导出能力。

核心功能与特性

• REST接口支持：提供可启用/禁用的REST端点，通过TLS加密保障数据传输安全
• 消息队列集成：基于RabbitMQ处理导出请求队列，支持请求验证与异步处理
• 多存储类型支持：提供POSIX文件系统或S3兼容对象存储作为输出存储（Outbox）
• 数据库连接：集成PostgreSQL数据库，支持SSL模式保障数据交互安全
• 安全验证机制：支持JWT（Passport/Visa令牌）验证和OpenID Connect用户认证
• 数据加密支持：集成Crypt4GH加密标准，使用私钥和密码进行数据解密处理
• 灵活日志配置：支持Logstash日志输出，可通过环境变量自定义不同组件的日志级别

使用场景与适用范围

适用于需要安全、可控数据导出功能的场景，包括：

• 科研数据共享平台：安全导出研究数据至授权用户
• 数据仓库系统：处理批量数据归档与外部导出请求
• ***/敏感数据平台：通过加密和权限控制保障数据导出安全
• 分布式数据处理系统：集成消息队列和存储服务实现异步数据输出

配置说明

环境变量配置

以下环境变量用于配置服务行为，可根据部署需求调整：

日志级别配置

可通过环境变量配置不同组件的日志级别，格式为LOGGING_LEVEL_<包名>（包名中的.需替换为_）。示例：

• 禁用Spring框架日志：LOGGING_LEVEL_ORG_SPRINGFRAMEWORK=OFF
• 设置DOA自身日志为DEBUG级别：LOGGING_LEVEL_NO_UIO_IFI=DEBUG

部署示例

Docker Swarm部署配置

以下是在Docker Swarm中部署sda-doa服务的示例配置：

yaml
...
  doa:
    image: docker.xuanyuan.run/neicnordic/sda-doa:latest
    ports:
      - 443:8080  # 映射容器8080端口到主机443端口（HTTPS服务）
    deploy:
      restart_policy:
        condition: on-failure  # 失败时自动重启
        delay: 5s             # 重启延迟时间
        window: 120s          # 稳定性观察窗口
    environment:
      - S3_PORT                # 引用外部定义的S3端口变量
      - KEYSTORE_PASSWORD=${SERVER_CERT_PASSWORD}  # 从环境变量注入密钥库密码
      - DB_INSTANCE=${DB_HOST}                     # 从环境变量注入数据库主机
      - POSTGRES_DB=${DB_DATABASE_NAME}            # 从环境变量注入数据库名称
      - POSTGRES_PASSWORD=${DB_LEGA_OUT_PASSWORD}  # 从环境变量注入数据库密码
      - S3_ACCESS_KEY=${MINIO_ACCESS_KEY}          # 从环境变量注入S3访问密钥
      - S3_SECRET_KEY=${MINIO_SECRET_KEY}          # 从环境变量注入S3密钥
      - LOGSTASH_HOST                              # 引用外部定义的Logstash主机
      - LOGSTASH_PORT                              # 引用外部定义的Logstash端口
    secrets:
      # 挂载证书和密钥文件（需预先创建Docker Secrets）
      - source: rootCA.pem
        target: /etc/ega/ssl/CA.cert               # 数据库CA证书
      - source: rootCA.pem
        target: /etc/ssl/certs/ca-certificates.crt # S3 CA证书
      - source: server.p12
        target: /etc/ega/ssl/server.cert           # 服务器密钥库
      - source: client.pem
        target: /etc/ega/ssl/client.cert           # 数据库客户端证书
      - source: client-key.der
        target: /etc/ega/ssl/client.key            # 数据库客户端密钥
      - source: jwt.pub.pem
        target: /etc/ega/jwt/passport.pem          # Passport JWT公钥
      - source: jwt.pub.pem
        target: /etc/ega/jwt/visa.pem              # Visa JWT公钥
      - source: ega.sec.pem
        target: /etc/ega/crypt4gh/key.pem          # Crypt4GH私钥
      - source: ega.sec.pass
        target: /etc/ega/crypt4gh/key.pass         # Crypt4GH私钥密码
...

配置说明

• 端口映射：容器内8080端口映射到主机443端口，提供HTTPS服务
• 重启策略：服务异常时自动重启，通过延迟和观察窗口确保服务稳定性
• 环境变量管理：敏感信息（如密码、密钥）通过环境变量注入，避免配置文件硬编码
• 安全文件挂载：证书和密钥文件通过Docker Secrets安全挂载，防止敏感信息泄露

部署前需确保所有引用的secrets（如rootCA.pem、server.p12等）已在Docker Swarm中创建。