daverona/cromwell

daverona/cromwell

https://gitlab.com/daverona/docker/cromwell/badges/master/pipeline.svg](https://gitlab.com/daverona/docker/cromwell/commits/master)

本镜像为https://github.com/broadinstitute/cromwell%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F%E7%9A%84Docker%E5%8C%96%E5%AE%9E%E7%8E%B0%EF%BC%8CCromwell%E6%98%AF%E4%B8%80%E6%AC%BE%E7%94%A8%E4%BA%8E%E8%87%AA%E5%8A%A8%E5%8C%96%E5%A4%8D%E6%9D%82%E8%AE%A1%E7%AE%97%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%9A%84%E5%B7%A5%E5%85%B7%EF%BC%8C%E5%B9%BF%E6%B3%9B%E5%BA%94%E7%94%A8%E4%BA%8E%E7%94%9F%E7%89%A9%E4%BF%A1%E6%81%AF%E5%AD%A6%E7%AD%89%E7%A7%91%E7%A0%94%E9%A2%86%E5%9F%9F%E3%80%82

• GitLab仓库：https://gitlab.com/daverona/docker/cromwell
• Docker registry：https://hub.docker.com/r/daverona/cromwell
• 可用版本：https://gitlab.com/daverona/docker/cromwell/-/releases

镜像概述

daverona/cromwell镜像简化了Cromwell的部署流程，支持服务器模式运行，可配置用户权限确保数据安全，并兼容本地Docker和Slurm等计算后端，满足不同规模的工作流执行需求。

核心功能

1. 支持Cromwell服务器模式，提供Web界面访问
2. 可自定义运行用户的UID/GID，避免文件权限冲突
3. 兼容本地Docker后端，允许工作流调用Docker容器执行任务
4. 支持Slurm集群后端，适用于大规模分布式计算
5. 允许通过环境变量和配置文件调整运行参数，灵活适配场景

使用场景

1. 生物信息学工作流（如基因组测序数据分析）的自动化执行
2. 科研机构内部的计算任务调度与管理
3. 跨环境的工作流一致性部署，确保结果可复现
4. 企业级复杂计算流程的标准化管理

配置说明

• 环境变量：
  • CROMWELL_UID：设置容器内运行Cromwell的用户UID（建议与主机用户一致）
  • CROMWELL_GID：设置容器内运行Cromwell的用户GID
  • JAVA_OPTS：Java虚拟机参数，可指定自定义配置文件（如-Dconfig.file=/home/cromwell/app.conf）
• 卷挂载：
  • 数据目录：需挂载主机目录到容器内/data或自定义路径，确保容器用户有读写权限
  • 配置文件：将自定义app.conf挂载到容器内/home/cromwell/app.conf（只读模式）
  • SSH密钥：如需访问远程主机，需挂载known_hosts和授权密钥文件

快速启动

以默认配置启动Cromwell服务器模式：

bash
docker container run --rm \
  --detach \
  --env CROMWELL_UID="$(id -u)" \
  --env CROMWELL_GID="$(id -g)" \
  --publish 80:8000 \
  --volume "${PWD}/data:/data" \
  daverona/cromwell

容器启动时会创建cromwell用户，其UID/GID由CROMWELL_UID和CROMWELL_GID指定，该用户将运行Cromwell服务。访问http://localhost即可进入Web界面，工作流输出将存储在主机${PWD}/data目录下。

使用自定义配置文件启动：

bash
docker container run --rm \
  --detach \
  --env CROMWELL_UID="$(id -u)" \
  --env CROMWELL_GID="$(id -g)" \
  --publish 80:8000 \
  --env JAVA_OPTS="-Dconfig.file=/home/cromwell/app.conf" \
  --volume "${PWD}/app.conf:/home/cromwell/app.conf:ro" \
  --volume "${PWD}/data:/data" \
  daverona/cromwell

高级用法

本地Docker后端

若需在Cromwell容器内调用主机的Docker服务，需配置SSH免密登录：

1. 将容器内cromwell用户的公钥添加到主机授权密钥：

bash
docker container run --rm \
  daverona/cromwell \
    cat /home/cromwell/.ssh/id_rsa.pub \
>> ~/.ssh/authorized_keys

2. 添加主机到容器的已知主机列表（替换host.example为实际主机地址）：

bash
docker container run --rm \
  daverona/cromwell \
    ssh-keyscan -H host.example \
>> known_hosts 2>/dev/null 

3. 在app.conf中配置本地Docker后端：

hocon
Local {
  submit = "/usr/bin/env bash ${script}"
  submit-docker = """
    ssh tom@host.example '/bin/bash --login -c " \
      docker container run \
        --rm \
        --interactive \
        --gpus ... \
        --volume ${cwd}:${docker_cwd} \
        ${docker} ${job_shell} < ${script} \
    "'
  """
}

替换host.example和tom为实际主机地址和用户名，避免使用localhost。

4. 启动Cromwell容器：

bash
docker container run --rm \
  --detach \
  --env CROMWELL_UID="$(id -u)" \
  --env CROMWELL_GID="$(id -g)" \
  --publish 80:8000 \
  --env JAVA_OPTS="-Dconfig.file=/home/cromwell/app.conf" \
  --volume "${PWD}/known_hosts:/home/cromwell/.ssh/known_hosts:ro" \
  --volume "${PWD}/app.conf:/home/cromwell/app.conf:ro" \
  --volume "${PWD}/data:${PWD}/data" \
  --workdir "${PWD}/data" \
  daverona/cromwell

Slurm后端

若需使用Slurm集群执行工作流，需满足以下条件：

• Slurm集群与Cromwell主机共享存储卷
• 拥有Slurm集群的用户账号

配置步骤：

1. 将容器内cromwell用户的公钥添加到Slurm主机授权密钥（替换slurmctld.example和tom）：

bash
docker container run --rm \
  daverona/cromwell \
    cat /home/cromwell/.ssh/id_rsa.pub \
| ssh tom@slurmctld.example 'cat >> .ssh/authorized_keys'

2. 添加Slurm主机到已知主机列表：

bash
docker container run --rm \
  daverona/cromwell \
    ssh-keyscan -H slurmctld.example \
>> known_hosts 2>/dev/null 

3. 在app.conf中配置Slurm后端：

hocon
Slurm {
  submit = """
    ssh tom@slurmctld.example '/bin/bash --login -c " \
      sbatch \
        --partition=... \
        --job-name=${job_name} \
        --chdir=${cwd} \
        --output=${out} \
        --error=${err} \
        --cpus-per-task=... \
        --gres=gpu:... \
        --mem-per-cpu=... \
        --time=... \
        --wrap=\"/bin/bash ${script}\" \
    "'
  """
  submit-docker = """
    ssh tom@slurmctld.example '/bin/bash --login -c " \
      sbatch \
        --partition=... \
        --job-name=${job_name} \
        --chdir=${cwd} \
        --cpus-per-task=... \
        --gres=gpu:... \
        --mem-per-cpu=... \
        --time=... \
        --wrap=\" \
          docker container run \
            --cidfile ${docker_cid} \
            --rm \
            --interactive \
            --gpus ... \
            --volume ${cwd}:${docker_cwd} \
            ${docker} ${job_shell} < ${script} \
        \" \
    "'
  """
}

4. 启动Cromwell容器：

bash
docker container run --rm \
  --detach \
  --env CROMWELL_UID="$(id -u)" \
  --env CROMWELL_GID="$(id -g)" \
  --publish 80:8000 \
  --env JAVA_OPTS="-Dconfig.file=/home/cromwell/app.conf" \
  --volume "${PWD}/known_hosts:/home/cromwell/.ssh/known_hosts:ro" \
  --volume "${PWD}/app.conf:/home/cromwell/app.conf:ro" \
  --volume "${PWD}/data:${PWD}/data" \
  --workdir "${PWD}/data" \
  daverona/cromwell

参考资料

• Cromwell官方文档：https://cromwell.readthedocs.io/en/stable/
• Cromwell源码仓库：https://github.com/broadinstitute/cromwell