sagebionetworks/synapse-workflow-orchestrator-toil

Synapse Workflow Orchestrator镜像（Toil版本）

该镜像为Toil的容器化版本，适用于Synapse Workflow Orchestrator，用于将一个或多个Synapse评估队列与工作流引擎链接。每个评估队列关联一个工作流模板，每个提交对应一个工作流任务实例。提交到评估队列后，协调器会启动并跟踪任务，发送进度通知并上传日志文件。

核心功能

• 支持多个Synapse提交队列；
• 执行时间配额（由独立进程触发）；
• 协调Synapse与工作流引擎中的运行任务，异常时通知管理员；
• 响应中断并安全停止；
• 实现提交取消与任务时间跟踪；
• 向提交者/管理员发送通知；
• 定期上传日志至Synapse；
• 生成包含任务状态、进度等信息的Synapse仪表盘。

环境设置（Amazon Linux）

1. 安装Docker：sudo yum install docker；
2. 启动Docker服务：sudo service docker start；
3. 允许非root用户管理Docker（参考官方文档）；
4. 登出重登录以应用权限；
5. 安装Docker Compose（参考官方指南）。

使用说明

创建项目与队列

运行以下命令初始化项目、队列、模板及仪表盘：

bash
docker run --rm -it -e SYNAPSE_USERNAME=xxxxx -e SYNAPSE_PASSWORD=xxxxx \
-e WORKFLOW_TEMPLATE_URL=http://xxxxxx -e ROOT_TEMPLATE=xxxxx docker.xuanyuan.run/sagebionetworks/synapseworkfloworchestrator /set_up.sh

若使用Dockstore工作流，替换WORKFLOW_TEMPLATE_URL为Dockstore API链接即可。

启动服务（Docker容器方式）

1. 配置.env文件（包含DOCKER_ENGINE_URL、SYNAPSE_USERNAME等参数）；
2. 启动服务：

bash
docker-compose --verbose up

提交任务

通过Synapse网页端或以下命令提交：

bash
docker run --rm -it -e SYNAPSE_USERNAME=xxxxx -e SYNAPSE_PASSWORD=xxxxx -e EVALUATION_ID=xxxxx \
-v /path/to/workflow/job:/workflowjob docker.xuanyuan.run/sagebionetworks/synapse-workflow-orchestrator:1.0 /submit.sh

查看结果

访问Synapse项目中的仪表盘即可查看任务状态与日志。

工作流创建指南

参考https://github.com/Sage-Bionetworks/SynapseWorkflowExample%EF%BC%8C%E7%A1%AE%E4%BF%9D%E8%BE%93%E5%85%A5%E6%A0%BC%E5%BC%8F%E4%B8%8E%E5%8D%8F%E8%B0%83%E5%99%A8%E8%A6%81%E6%B1%82%E4%B8%80%E8%87%B4%EF%BC%8C%E7%BB%93%E6%9E%9C%E7%9B%B4%E6%8E%A5%E5%86%99%E5%85%A5Synapse%EF%BC%8C%E4%B8%8D%E4%BF%AE%E6%94%B9%E6%8F%90%E4%BA%A4%E7%8A%B6%E6%80%81%E5%AD%97%E6%AE%B5%E3%80%82

其他细节

• 结果上传：根据SHARE_RESULTS_IMMEDIATELY参数使用锁定/未锁定路径；
• 超时处理：通过orgSagebionetworksSynapseWorkflowOrchestratorTimeRemaining注释控制；
• 机器退役：设置ACCEPT_NEW_SUBMISSIONS=false完成现有任务后停止服务。