databiosphere/job-manager-api-cromwell

Job Manager API Server: cromwell版本

本镜像为围绕https://github.com/broadinstitute/cromwell%E6%9E%84%E5%BB%BA%E7%9A%84%E8%96%84%E5%9E%AB%E7%89%87%E5%B1%82%EF%BC%8C%E4%BD%9C%E4%B8%BAJob Manager的代理层，用于前端访问Broad Institute Pipeline Execution Engine。

开发配置

设置Cromwell实例地址

通过CROMWELL_URL环境变量指定要使用的Cromwell实例地址：

bash
export CROMWELL_URL=https://example-cromwell.broadinstitute.org/api/workflows/v1

注意：若连接本地Cromwell实例，不能使用localhost或127.0.0.1（容器会尝试连接自身），需使用本地IP地址（如192.168.0.106:8000）：

bash
export CROMWELL_URL=http://192.168.0.106:8000/api/workflows/v1

调整Gunicorn服务器参数

• 修改工作进程数：默认使用5个同步工作进程，可通过环境变量覆盖。推荐根据CPU核心数动态设置：

  bash
  export GUNICORN_CMD_ARGS="--workers=$((2 * $(getconf _NPROCESSORS_ONLN 2>/dev/null || getconf NPROCESSORS_ONLN 2>/dev/null || echo 2) + 1))"
  

• 切换工作进程类型：支持gevent异步进程：

  bash
  export GUNICORN_CMD_ARGS="--worker-class gevent"
  

• 合并参数：可同时设置多个参数：

  bash
  export GUNICORN_CMD_ARGS="--workers=$((2 * $(getconf _NPROCESSORS_ONLN 2>/dev/null || getconf NPROCESSORS_ONLN 2>/dev/null || echo 2) + 1)) --worker-class gevent"
  

基础HTTP认证配置

若Cromwell实例启用基础认证，需在job-manager/servers/cromwell/jobs目录下创建config.json文件，填入用户名和密码：

json
{
  "cromwell_user": "USERNAME",
  "cromwell_password": "PASSWORD"
}

显示字段配置

独立Cromwell实例

在job-manager/servers/cromwell/jobs目录下添加capabilities_config.json文件，自定义工作流列表的显示字段（如列顺序、可编辑性等），示例结构：

json
{
  "displayFields": [
    {"field": "id", "display": "Workflow ID"},
    {"field": "name", "display": "Name", "filterable": true},
    {"field": "status", "display": "Status"},
    {"field": "submission", "display": "Submitted", "fieldType": "date"},
    {"field": "labels.label", "display": "Label", "fieldType": "text", "editable": true, "bulkEditable": true},
    {"field": "labels.flag", "display": "Flag", "editable": true, "bulkEditable": true, "fieldType": "list", "validFieldValues": ["archive", "follow-up"]},
    {"field": "labels.comment", "display": "Comment", "fieldType": "text", "editable": true}
  ],
  "commonLabels": ["id", "name", "label", "comment", "flag"],
  "queryExtensions": ["hideArchived"]
}

Cromwell-as-a-Service（CaaS）场景

需额外添加认证相关配置：

json
{
  "displayFields": [/* 同独立实例 */],
  "commonLabels": [/* 同独立实例 */],
  "queryExtensions": [/* 同独立实例 */],
  "authentication": {
    "isRequired": true,
    "scopes": ["openid", "email", "profile"]
  }
}

链接Docker Compose文件

根据CROMWELL_URL类型链接对应的Compose文件：

• 若为CaaS场景（如https://cromwell.caas-dev.broadinstitute.org/api/workflows/v1）：

  bash
  ln -sf cromwell-caas-compose.yml docker-compose.yml
  

• 其他场景：

  bash
  ln -sf cromwell-instance-compose.yml docker-compose.yml
  

启动工作流

Job Manager暂不支持直接启动工作流，可通过POST请求到Cromwell的/api/workflows/{version}端点启动：

bash
cd servers/cromwell/jobs/test/test_workflow
curl -X POST "${CROMWELL_URL}" \
    -u "username:password" \
    -H "accept: application/json" \
    -H "Content-Type: multipart/form-data" \
    -F "workflowSource=@test_workflow.wdl" \
    -F "workflowInputs=@inputs.json;type=application/json" \
    -F "labels=@labels.json;type=application/json" \
    -F "workflowDependencies=@deps.zip;type=application/zip"

运行测试

安装tox后运行单元和集成测试：

bash
cd servers/cromwell
tox -- -s

生成requirements.txt

从requirements-to-freeze.txt自动生成依赖文件：

bash
virtualenv --python=/usr/bin/python2 /tmp/cromwell-server-requirements
source /tmp/cromwell-server-requirements/bin/activate
cd servers/cromwell
pip install -r requirements-to-freeze.txt
pip freeze | sort -f | sed 's/^jm-utils.*/\.\.\/jm_utils/g' > requirements.txt
deactivate