sagebionetworks/1kd-data-request-tracking

1kD数据请求跟踪Docker镜像

镜像概述和主要用途

本镜像包含用于跟踪提交给1kD和Elite_LLFS项目的数据请求、其状态及相关Jira工单的脚本。它通过Synapse Rest API拉取数据请求历史，生成跟踪表格和变更日志，并与Jira集成以创建和更新工单，适用于项目数据请求的自动化跟踪与报告。

核心功能和特性

数据请求跟踪与报告

• 数据请求跟踪表（仅1kD）：汇总数据请求的最新状态、基本信息及总持续时间
• 数据请求变更日志表：记录每个数据请求的详细变更历史，包括状态变化、提交信息及处理时间
• 数据文件夹结构文件：生成项目文件夹树及相应的访问权限设置文档（data_folder_structure.txt）

Jira集成

• 1kD项目：通过jira_issue_tracking.py在Jira Software Dashboard创建和更新工单
• Elite项目：通过jira_service_desk.py在Jira Service Desk创建请求
• Jira变更日志表：在Synapse中维护Jira工单/请求的处理状态及各阶段处理时间

使用场景和适用范围

适用于ACT团队成员在AWS Batch（计划任务）中运行，用于自动化跟踪1kD和Elite_LLFS项目的数据请求全生命周期，包括状态监控、历史记录和Jira工单管理。仅ACT团队拥有从Synapse后端拉取数据请求的权限。

详细使用方法和配置说明

前提条件

• ACT团队成员账户
• AWS Batch环境访问权限
• Synapse和Jira相关凭据

凭据配置

需在AWS Batch Secrets中配置以下凭据，格式如下：

json
"SYNAPSE_AUTH_TOKEN":"Your PAT","JIRA_EMAIL":"Your email in Jira","JIRA_API_TOKEN":"Your Jira API token"

凭据详情：

1. SYNAPSE_AUTH_TOKEN

   • 用途：用于Synapse命令行、Python或R客户端登录的个人访问令牌（PAT）
   • 创建方法：参考Synapse个人访问令牌创建指南
   • 权限要求：需具备查看、下载和修改权限

2. JIRA_EMAIL和JIRA_API_TOKEN

   • JIRA_EMAIL：用户在Jira中的注册***
   • JIRA_API_TOKEN：用于脚本与Atlassian云产品交互的认证令牌
   • 创建方法：参考https://support.atlassian.com/atlassian-account/docs/manage-api-tokens-for-your-atlassian-account/

Docker镜像使用

• 镜像名称：sagebionetworks/1kd-data-request-tracking
• 可用标签：参见https://hub.docker.com/r/sagebionetworks/1kd-data-request-tracking
• 推荐版本：建议使用latest标签，该标签会随GitHub仓库更新自动同步

AWS Batch配置

1. 镜像设置：在AWS Batch中指定Docker镜像为sagebionetworks/1kd-data-request-tracking:latest
2. 调度设置：配置AWS Batch调度计划以指定管道运行频率
3. 命令示例：

   bash
   sh update_tables.sh
   

4. 成本跟踪：提供必要的标签用于成本跟踪
5. Jira自动化：配置Jira自动化规则，在新工单生成时自动通知审批人

工作流程

数据请求跟踪和报告工作流程如下：

1. 通过data_request_tracking.py拉取Synapse数据请求历史，生成跟踪表、变更日志表和文件夹结构文件
2. 通过jira_issue_tracking.py（1kD）或jira_service_desk.py（Elite）创建Jira工单/请求
3. 更新Synapse中的Jira变更日志表，记录工单处理状态和时间
4. Jira自动化发送通知给审批人

工作流程图参考：https://github.com/Sage-Bionetworks/dataRequestTracking/assets/90745557/08466ecc-b633-459b-8aa1-09e82f4bfed1