elixircloud/cwl-wes

cwl-WES

概述

cwl-WES（前称：WES-ELIXIR）是一个实现全球基因组与健康联盟（GA4GH）工作流执行服务（WES）API规范的微服务，用于执行以Common Workflow Language（CWL）编写的工作流。作为ELIXIR Cloud & AAI项目的核心服务，它允许客户端/用户通过GA4GH任务执行服务（TES）兼容的后端（如TESK或Funnel）在云中执行CWL工作流。

核心功能与特性

• 标准化API实现：基于Flask/Gunicorn框架，使用Connexion实现GA4GH WES OpenAPI规范，提供标准化的工作流执行接口
• CWL工作流支持：支持提交CWL工作流，利用cwl-tes将工作流分解为独立任务
• 分布式执行：通过GA4GH TES兼容后端（如TESK、Funnel）执行任务
• 工作流管理：支持工作流提交、运行列表查询、单个运行状态及信息查询
• 数据存储：使用MongoDB存储工作流运行信息
• 安全授权：可配置JSON Web Token（JWT）基于的访问控制，支持ELIXIR AAI等身份提供商签发的令牌
• 可扩展性：通过RabbitMQ实现任务队列，支持多worker部署

使用场景与适用范围

适用于需要在云中标准化执行和管理CWL工作流的场景，主要用户包括：

• 生物信息学研究团队
• 基因组学实验室
• 需要跨平台执行工作流的科研机构
• 遵循GA4GH标准的***健康组织

使用方法与配置说明

环境要求

部署docker-compose版本需满足：

• Docker (18.06.1-ce及以上)
• docker-compose (1.22.0及以上)
• Git (1.8.3.1及以上)

上述为开发/测试使用版本，较新版本可能兼容，如有问题请反馈

部署步骤（docker-compose）

1. 环境准备

创建数据目录及子目录：

bash
mkdir -p data/cwl_wes/db data/cwl_wes/output data/cwl_wes/tmp

克隆代码仓库：

bash
git clone https://github.com/elixir-cloud-aai/cwl-WES.git app

进入应用目录：

bash
cd app

2. 配置覆盖（可选）

通过应用配置文件

bash
vi cwl_wes/config/app_config.yaml

通过环境变量

部分配置可通过环境变量覆盖：

bash
export <ENV_VAR_NAME>=<VALUE>

可用环境变量列表：

3. 构建与部署

以 detached/后台模式构建并运行服务：

bash
docker-compose up -d --build

4. FTP凭证配置

创建.netrc文件存储FTP服务器访问凭证：

bash
cat << EOF > .netrc
machine <HOST>
login <USERNAME>
password <PASSWORD>
EOF

需将<HOST>、<USERNAME>和<PASSWORD>替换为实际值。测试环境可创建空文件：touch .netrc

将凭证文件复制到运行中的worker容器：

bash
for cont in $(docker ps --all | grep cwl-wes_wes-worker | cut -f1 -d" "); do
    docker cp .netrc "${cont}:/tmp/user"
done

服务使用

访问Swagger UI

bash
firefox http://localhost:7777/ga4gh/wes/v1/ui

提交测试工作流示例

通过POST /runs端点提交工作流，示例参数：

• workflow_params: {"input":{"class":"File","path":"ftp://ftp-private.ebi.ac.uk/upload/foivos/test.txt"}}
• workflow_type: CWL
• workflow_type_version: v1.0
• workflow_url: https://github.com/uniqueg/cwl-example-workflows/blob/master/hashsplitter-workflow.cwl

使用curl访问API

查询所有运行：

console
curl -X GET \
    --header 'Accept: application/json' \
    'http://localhost:7777/ga4gh/wes/v1/runs' 

授权配置

启用JWT授权

修改应用配置文件cwl_wes/config/app_config.yaml：

yaml
# 安全设置
security:
    authorization_required: True

获取访问令牌

需获取有效的JWT Bearer令牌，推荐使用ELIXIR AAI签发的令牌。如需访问ELIXIR测试部署的计算资源，需加入特定ELIXIR用户组（申请地址：[***]

使用授权访问

通过curl

console
curl -X GET \
    --header 'Accept: application/json' \
    --header 'Authorization: Bearer <YOUR_TOKEN>' \
    'http://localhost:7777/ga4gh/wes/v1/runs' 

通过Swagger UI

点击界面顶部的Authorize按钮，在api_key字段输入令牌，格式为Bearer <YOUR_TOKEN>。

贡献指南

本项目为社区驱动，欢迎通过错误报告、功能请求、讨论或代码修复等形式贡献。详情请参考ELIXIR Cloud & AAI组织的https://github.com/elixir-cloud-aai/elixir-cloud-aai/blob/dev/CONTRIBUTING.md%EF%BC%8C%E5%B9%B6%E9%81%B5%E5%AE%88https://github.com/elixir-cloud-aai/elixir-cloud-aai/blob/dev/CODE_OF_CONDUCT.md%E3%80%82

版本说明

当前处于beta开发阶段，公开测试部署可通过顶部的网站徽章访问。更多测试部署信息见https://github.com/elixir-cloud-aai/elixir-cloud-aai/blob/dev/resources/resources.md%E3%80%82%E6%9C%AA%E6%9D%A5%E5%B0%86%E9%87%87%E7%94%A8%E8%AF%AD%E4%B9%89%E5%8C%96%E7%89%88%E6%9C%AC%E6%8E%A7%E5%88%B6%EF%BC%8C%E4%B8%8EWES%E8%A7%84%E8%8C%83%E7%89%88%E6%9C%AC%E5%90%8C%E6%AD%A5%E3%80%82

许可证

本项目采用Apache License 2.0许可证。

联系方式

作为ELIXIR Cloud & AAI项目的一部分，可通过项目https://github.com/elixir-cloud-aai/elixir-cloud-aai%E8%8E%B7%E5%8F%96%E8%81%94%E7%B3%BB%E4%BF%A1%E6%81%AF%E3%80%82%E5%92%A8%E8%AF%A2%E6%97%B6%E8%AF%B7%E6%B3%A8%E6%98%8E%E6%9C%8D%E5%8A%A1%E5%90%8D%E7%A7%B0%E3%80%82