bsmnetwork/ndasynapse-manifests

NDA manifests to Synapse Docker镜像

镜像概述

本镜像包含一套工具，利用Python包ndasynapse查询NIMH Data Archive（NDA）API，获取与Brain Somatic Mosaicism Network（BSMN）项目相关的数据提交清单。镜像支持从NDA获取两种类型的清单：实时数据（通过GUID查询服务）和历史提交数据（通过Submission查询服务），并将结果输出为CSV文件存储到Synapse平台。

核心功能

1. 查询NDA API获取指定类型的清单数据（支持版本化和非版本化清单类型）；
2. 生成结构化CSV格式的清单输出；
3. 与AWS Parameter Store集成，安全存储Synapse和NDA的配置信息；
4. 支持本地运行和AWS Batch环境下的批量任务执行。

使用场景

• 本地测试：快速验证清单查询功能，调试配置参数；
• AWS Batch批量任务：定期自动化获取NDA清单数据并同步到Synapse；
• 科研数据管理：为BSMN项目团队提供标准化的NDA数据清单获取工具。

配置说明

1. 本地运行：需挂载AWS凭证文件到容器（路径：/root/.aws/credentials）；
2. AWS环境：需将Synapse配置和NDA JSON配置存储在AWS Parameter Store的指定路径：
   • Synapse配置：/bsmn-ndasynapse-manifests/synapseConfig；
   • NDA配置：/bsmn-ndasynapse-manifests/ndaConfig；
3. AWS环境下运行时，需为基础设施授予访问Parameter Store的IAM权限。

Docker部署示例

本地运行

bash
docker run -v /home/your-user/.aws/credentials:/root/.aws/credentials bsmn/ndasynapse-manifests:latest

AWS环境运行

bash
docker run bsmn/ndasynapse-manifests:latest

AWS Batch任务

该镜像可作为AWS Batch数组任务运行，支持两种脚本：

1. run-live-manifests.sh：获取实时清单数据；
2. run-original-manifests.sh：获取历史提交清单数据。

使用提供的Job Definition模板提交任务：

bash
aws batch submit-job --cli-input-json file:///path/to/ndasynapse-manifests/ndamanifests-original-array-job.json

开发说明

Dockerfile通过requirements.txt管理依赖，更新ndasynapse版本时需修改该文件中的版本号。