broadinstitute/cromwell

Cromwell 工作流管理系统

概述

Cromwell是由Broad Institute开发的工作流管理系统，专为执行基于WDL（Workflow Description Language）定义的工作流而设计。它提供跨多个计算平台后端的统一工作流执行能力，支持从本地计算到云服务（如AWS、Google Cloud、Azure）及HPC集群的灵活部署，广泛应用于生物信息学、数据科学等领域的复杂工作流自动化。

核心功能与特性

多平台后端支持

• 兼容本地计算、AWS Batch、Google Cloud Life Sciences、Azure Batch、Slurm、PBS等多种计算环境
• 支持后端动态切换，无需修改工作流定义即可跨平台执行

WDL语言原生支持

• 完全兼容WDL 1.0及以上版本，支持工作流的模块化定义、参数化与条件执行
• 内置WDL语法验证与工作流解析功能，确保工作流定义的正确性

工作流生命周期管理

• 提供工作流提交、监控、暂停/恢复、重试及终止的全生命周期控制
• 支持工作流元数据记录与结果追踪，便于审计与复现

可扩展性与集成能力

• 模块化设计支持自定义后端与插件开发
• 支持与数据库（PostgreSQL、MySQL等）集成，实现工作流状态持久化
• 提供REST API接口，便于与外部系统或管道集成

使用场景与适用范围

生物信息学分析

• 执行标准化生物信息学流程（如GATK最佳实践流程）
• 处理基因组测序数据、变异检测等复杂多步骤分析

跨平台工作流部署

• 在本地环境开发测试后，无缝迁移至云平台或HPC集群执行
• 统一管理不同计算资源下的工作流执行逻辑

数据科学工作流自动化

• 自动化数据预处理、模型训练、结果分析的端到端流程
• 支持多工具链（Python、R、Shell等）的工作流整合

科研协作与标准化

• 通过WDL实现工作流定义的标准化与共享
• 支持团队协作开发与跨机构流程复用

使用方法与配置说明

Docker部署示例

基础运行

启动Cromwell服务器（默认本地后端，REST API端口8000）：

bash
docker run -d -p 8000:8000 --name cromwell broadinstitute/cromwell:latest server

自定义配置部署

挂载配置文件与工作目录，指定后端与存储配置：

bash
docker run -d -p 8000:8000 \
  -v /local/path/cromwell.conf:/etc/cromwell.conf \
  -v /local/workflows:/workflows \
  -v /local/executions:/cromwell-executions \
  --name cromwell broadinstitute/cromwell:latest \
  server -Dconfig.file=/etc/cromwell.conf

• -v /local/path/cromwell.conf：挂载自定义配置文件
• -v /local/workflows：挂载工作流源文件与输入数据目录
• -v /local/executions：挂载工作流执行结果存储目录

核心配置说明

Cromwell使用HOCON格式配置文件，主要配置项如下：

后端配置示例（AWS Batch）

hocon
backend {
  default = "AWS"
  providers {
    AWS {
      actor-factory = "cromwell.backend.aws.batch.AwsBatchBackendLifecycleActorFactory"
      config {
        region = "us-east-1"
        root = "s3://my-bucket/cromwell-executions"
        batch {
          jobQueue = "my-job-queue"
          jobRole = "arn:aws:iam::123456789012:role/cromwell-job-role"
          retryCount = 1
        }
      }
    }
  }
}

数据库配置（持久化工作流状态）

hocon
database {
  profile = "slick.jdbc.PostgresProfile$"
  db {
    driver = "org.postgresql.Driver"
    url = "jdbc:postgresql://db-host:5432/cromwell"
    user = "db-user"
    password = "db-password"
    connectionTimeout = 5000
  }
}

基本操作示例

提交工作流

通过REST API提交WDL工作流：

bash
curl -X POST "http://localhost:8000/api/workflows/v1" \
  -H "Content-Type: multipart/form-data" \
  -F "workflowSource=@workflow.wdl" \
  -F "workflowInputs=@inputs.json"

查询工作流状态

bash
curl "http://localhost:8000/api/workflows/v1/<workflow-id>/status"

终止工作流

bash
curl -X POST "http://localhost:8000/api/workflows/v1/<workflow-id>/abort"