dukegcb/calrissian

Calrissian

Kubernetes上的CWL实现

https://circleci.com/gh/Duke-GCB/calrissian.svg?style=svg](https://circleci.com/gh/Duke-GCB/calrissian)

概述

Calrissian是一个CWL实现，专为在Kubernetes集群内运行而设计。其目标是实现高度高效和可扩展性，利用高容量集群并行运行多个步骤。

集群要求

Calrissian需要[***]

Calrissian已通过使用https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client%E7%9A%84NFS%E4%BB%A5%E5%8F%8A%E4%BD%BF%E7%94%A8https://docs.okd.io/3.11/install_config/persistent_storage/persistent_storage_glusterfs.html%E7%9A%84GlusterFS%E8%BF%9B%E8%A1%8C%E6%B5%8B%E8%AF%95%E3%80%82%E8%AE%B8%E5%A4%9A%E4%BA%91%E6%8F%90%E4%BE%9B%E5%95%86%E9%83%BD%E6%8F%90%E4%BE%9BNFS%E6%9C%8D%E5%8A%A1%EF%BC%8C%E5%8F%AF%E9%80%9A%E8%BF%87nfs-client-provisioner%E8%BD%BB%E6%9D%BE%E9%9B%86%E6%88%90%E3%80%82

可扩展性/资源要求

Calrissian设计为在任务独立时并行执行任务，借助Kubernetes，应能运行非常大规模的并行工作负载。

运行calrissian时，必须提供并发使用的CPU核心数（--max-cores）和RAM兆字节数（--max-ram）限制。Calrissian将使用CWL ResourceRequirements跟踪使用情况并保持在提供的限制范围内。强烈建议在工作负载中使用准确的ResourceRequirements，以便高效调度，减少被集群终止或拒绝的可能性。

CWL一致性

Calrissian大量利用https://github.com/common-workflow-language/cwltool%EF%BC%8C%E4%B8%94%E5%A4%A7%E9%83%A8%E5%88%86%E7%AC%A6%E5%90%88CWL v1.0的一致性测试。有关更多详细信息和流程，请参见conformance。

要查看与一致性相关的未解决问题，请参见问题跟踪器上的https://github.com/Duke-GCB/calrissian/issues?q=is%3Aopen+is%3Aissue+label%3Aconformance%E6%A0%87%E7%AD%BE%E3%80%82

设置

有关安装和设置说明，请参见examples。

环境变量

可通过在容器规范中设置以下环境变量来自定义Calrissian的行为。

Pod生命周期

默认情况下，作业步骤的pod在终止后会被删除

• CALRISSIAN_DELETE_PODS：默认值true。如果设为false，作业步骤的pod将不会被删除。

Kubernetes API重试

遇到Kubernetes API异常时，Calrissian使用库通过指数退避策略重试API调用。有关详细信息，请参见https://tenacity.readthedocs.io/en/latest/index.html#waiting-before-retrying%E3%80%82

• RETRY_MULTIPLIER：默认值5。用于乘以指数间隔的单位。
• RETRY_MIN：默认值5。重试之间的最小间隔。
• RETRY_MAX：默认值1200。重试之间的最大间隔。
• RETRY_ATTEMPTS：默认值10。放弃前的最大重试次数。