alphaunito/streamflow

StreamFlow

StreamFlow框架是一个容器原生的工作流管理系统(WMS)，用Python 3编写。其设计围绕两个主要原则：

• 支持在多容器环境中执行任务，以支持多智能体生态系统中多个通信任务的并发执行。
• 放松单一共享数据空间的要求，以允许在多云或混合云/高性能计算(HPC)基础设施上执行混合工作流。

使用Docker运行

要在StreamFlow镜像中运行工作流，需满足以下条件：

• 将包含streamflow.yml文件及所有其他相关依赖（如工作流步骤的CWL描述和执行环境的Helm描述）的StreamFlow项目作为卷挂载到容器内，例如挂载到/streamflow/project文件夹。
• 工作流输出（如有）将存储在/streamflow/results文件夹中，因此需将该位置挂载为卷以持久化结果。
• StreamFlow会将所有临时文件保存在/tmp/streamflow位置。出于调试目的或为提高大文件的I/O性能，也可将该位置挂载为卷。
• 必须将容器内streamflow.yml文件的路径（例如/streamflow/project/streamflow.yml）作为参数传递给Docker容器。

以下脚本示例展示了在Docker容器中执行StreamFlow的方法：

bash
docker run -d \
    --mount type=bind,source="$(pwd)"/my-project,target=/streamflow/project \
    --mount type=bind,source="$(pwd)"/results,target=/streamflow/results \
    --mount type=bind,source="$(pwd)"/tmp,target=/tmp/streamflow \
    alphaunito/streamflow run /streamflow/project/streamflow.yml

在Kubernetes上运行

也可将StreamFlow容器作为Kubernetes中的Job执行。在此情况下，StreamFlow能够通过ServiceAccount凭据直接在父集群上部署Helm模型。为此，需在streamflow.yml文件中为每个涉及的模块将inCluster选项设置为true：

yaml
models:
  helm-model:
    type: helm
    config:
      inCluster: true
      ...

StreamFlow Job的Helm模板可在helm/chart文件夹中找到。

请注意，若Kubernetes集群上启用了RBAC，则必须为ServiceAccount对象附加适当的RoleBinding，以赋予StreamFlow管理Pod部署和任务执行的权限。