hotsub/routine

hotsub ![Build Status]([] ![Paper Status]([]

AWS和GCP上的简单批处理作业驱动（Azure、OpenStack即将支持）。

sh
hotsub run \
  --script ./star-alignment.sh \
  --tasks ./star-alignment-tasks.csv \
  --image friend1ws/star-alignment \
  --aws-ec2-instance-type t2.2xlarge \
  --verbose

它将：

• 执行star-alignment.sh中描述的工作流
• 针对star-alignment.csv中指定的每个样本
• 在friend1ws/star-alignment Docker容器中
• 在t2.2xlarge类型的EC2实例上运行

并自动将输出文件上传到S3，完成后清理EC2实例。更多细节请查看**https://hotsub.github.io/**%E3%80%82

为什么使用hotsub

hotsub的设计及使用原因有三点：

1. 无需在web控制台设置云环境：
   hotsub使用纯EC2或GCE实例，无需在复杂的web控制台配置AWS Batch或Dataflow。
2. 多平台统一命令行接口：
   只需通过run命令的--provider选项即可切换AWS和GCP（本地需有对应凭证）。
3. 支持ExTL框架：
   在生物信息学场景中，处理大型参考基因组时，hotsub提供并实现了**https://hotsub.github.io/etl-and-extl**%E3%80%82

安装

请查看**[***]

命令

sh
NAME:
   hotsub - 在AWS和GCP上以统一接口运行批量计算的命令行工具

USAGE:
   hotsub [全局选项] 命令 [命令选项] [参数...]

VERSION:
   0.10.0

DESCRIPTION:
   开源命令行工具，用于在Amazon Web Services等后端服务上运行批量计算任务和工作流。

COMMANDS:
     run       在云上运行作业，指定输入文件和参数
     init      初始化hotsub运行的CLI环境
     template  创建hotsub模板项目
     help, h   显示命令列表或单个命令帮助

GLOBAL OPTIONS:
   --help, -h     显示帮助
   --version, -V  打印版本号

run命令的可用选项

sh
% hotsub run -h
NAME:
   hotsub run - 在云上运行作业，指定输入文件和参数

USAGE:
   hotsub run [命令选项] [参数...]

DESCRIPTION:
   在云上运行作业，指定输入文件和参数

OPTIONS:
   --verbose, -v                     打印操作的详细日志
   --log-dir value                   日志目录路径，stdout/stderr日志文件将存放于此（默认："${cwd}/logs/${time}"）
   --concurrency value, -C value     运行作业的并发数限制（默认：8）
   --provider value, -p value        作业服务提供商，可选[aws, gcp, vbox, hyperv]（默认："aws"）
   --tasks value                     任务参数CSV路径，需指定--env、--input、--input-recursive和--output-recursive（必填）
   --image value                     Docker Hub或其他镜像服务的镜像名称（默认："ubuntu:14.04"）
   --script value                    工作流Docker容器内运行的本地脚本路径（必填）
   --shared value, -S value          云存储桶上的共享数据URL（例如：s3://~）
   --keep                            完成后保留计算用实例
   --env value, -E value             传递给所有工作流容器的环境变量
   --disk-size value                 每个作业附加的数据盘大小（GB，默认：64）
   --shareddata-disksize value       共享数据实例的磁盘大小（GB，默认：64）
   --aws-region value                启动EC2实例的AWS区域（默认："ap-northeast-1"）
   --aws-ec2-instance-type value     AWS EC2实例类型，指定后将忽略--min-cores和--min-ram（默认："t2.micro"）
   --aws-shared-instance-type value  AWS上的共享实例类型（默认："m4.4xlarge"）
   --aws-vpc-id value                运行计算VM的VPC ID
   --aws-subnet-id value             运行计算VM的子网ID
   --google-project value            GCP项目ID
   --google-zone value               GCP服务区域（默认："asia-northeast1-a"）
   --cwl value                       运行工作流的CWL文件
   --cwl-job value                   CWL的参数文件
   --wdl value                       运行工作流的WDL文件
   --wdl-job value                   WDL的参数文件
   --include value                   要包含到工作流容器中的本地文件

联系

如有问题，请通过以下链接提问：
https://github.com/otiai10/hotsub/issues