agladstein/simprily_autobuild

SimPrily

由Ariella Gladstein创建，基于Consuelo Quinto Cortes和Krishna Veeramah的代码，David Christy、Logan Gantner和Mack Skodiak也参与了开发。
：

概述

SimPrily运行基因组模拟，支持用户自定义参数或通过先验分布随机生成参数，并对模拟输出计算基因组统计量。版本1。
核心功能包括：

1. 基于参数先验分布和人口模型结构运行基因组模拟；
2. 通过考虑发现群体样本数量和等位基因频率 cutoff 的先验，创建伪阵列以处理SNP阵列的ascertainment bias；
3. 计算模拟基因组和伪阵列的基因组摘要统计量。

该工具适用于全基因组或SNP阵列数据的近似贝叶斯计算（Approximate Bayesian Computation）。使用c++程序macs和GERMLINE，更多信息可参考：
https://github.com/gchen98/macs
https://github.com/sgusev/GERMLINE

安装

进入工作目录：

bash
git clone https://github.com/agladstein/SimPrily.git

环境设置

若使用Vagrant（非Linux系统推荐）：
启动Vagrant并ssh进入，切换到SimPrily目录：

bash
vagrant up
vagrant ssh
cd /vagrant

安装虚拟环境和依赖：

bash
./setup/setup_env_vbox_2.7.sh

若不使用Vagrant：
直接安装虚拟环境和依赖：

bash
./setup/setup_env_2.7.sh

使用方法

示例：单次测试模拟

bash
python simprily.py -p examples/eg1/param_file_eg1_asc.txt -m examples/eg1/model_file_eg1_asc.csv -g genetic_map_b37/genetic_map_GRCh37_chr1.txt.macshs -a array_template/ill_650_test.bed -i 1 -o output_dir -v

快速帮助：

bash
python simprily.py --help

输入参数

simprily.py接受4个必填参数、2个可选参数，以及帮助、 verbose 和 profile 选项。
运行命令格式：

bash
python simprily.py [-h] -p PARAM -m MODEL -i ID -o OUT [-g MAP] [-a ARRAY] [-v] [--profile]

必填参数

-p PARAM/--param PARAM：参数文件路径
-m MODEL/--model MODEL：模型文件路径
-i ID/--id ID：任务唯一标识符
-o OUT/--out OUT：输出目录路径

可选参数

-h/--help：显示帮助信息并退出
-v：增加输出详细程度（支持 -v、-vv、-vvv三个级别）
--profile：打印包含主要函数时间（秒）和内存使用（Mb）的日志文件
-g MAP/--map MAP：遗传图谱文件路径
-a ARRAY/--array ARRAY：阵列模板文件路径（bed格式）

输出

输出目录包含三个子目录：

output_dir/results
output_dir/sim_data
output_dir/germline_out

中间文件

中间文件存储在output_dir/sim_data和output_dir/germline_out：

• sim_data：包含伪阵列生成的PLINK格式.ped和.map文件（GERMLINE运行所需）
• germline_out：包含GERMLINE的.match输出和.log文件（.match存储识别的IBD片段）

这些文件不会被脚本自动删除，但任务完成后可删除。

结果文件

结果存储在output_dir/results：包含模拟使用的参数值和计算的统计量，第一行为参数和统计量名称，第二行为对应值。

Open Science Grid

需拥有Open Science Grid Connect账户，注册地址：[***]

登录Open Science Grid Connect：

bash
ssh user-name@login01.osgconnect.net

工作目录必须为pegasus_workflow。

提交Pegasus工作流（需在pegasus_workflow目录）：

bash
./submit -p PARAM -m MODEL -j NUM [-g MAP] [-a ARRAY]

示例：

bash
./submit -p ../examples/eg2/param_file_eg2_asc.txt -m ../examples/eg2/model_file_eg2_asc.csv -j 10 -a ../array_template/ill_650_test.bed -g ../genetic_map_b37/genetic_map_GRCh37_chr1.txt.macshs

结果将出现在：

/local-scratch/user-name/workflows/simprily_id

其中user-name为用户名，id为工作流ID。

链接

• https://agladstein.github.io/SimPrily/
  • http://simprily.readthedocs.io/en/latest/index.html
  • https://github.com/agladstein/SimPrily
• CyVerse Discovery Environment SimPrily工作流
  1. SimPrily HT文件设置应用
  • DE中的应用
  • 应用GitHub仓库
  • 应用DockerHub仓库
  2. DE SimPrily应用
  • DE中的应用
  • 应用GitHub仓库
  • 应用DockerHub仓库
  3. DE SimPrily拼接应用
  • DE中的应用
  • 应用GitHub仓库
  • 应用DockerHub仓库
  4. DE SimPrily示例数据
  • 应用测试用随机生成数据
  • 来自1000基因组计划的人类HapMap数据
  • 芸苔属种群数据
  • SimPrily基准测试数据
• SimPrily Pegasus文档
  1. https://agladstein.github.io/SimPrily/#open-science-grid
  2. http://simprily.readthedocs.io/en/latest/htc.html#submit-a-pegasus-workflow

已知问题

• 若指数增长过大，macs模拟无法完成（macs bug）；
• 若同一ID使用与之前运行相同的输出目录，.map文件会被追加。

Docker部署示例

bash
docker run -v $(pwd)/data:/data -it docker.xuanyuan.run/agladstein/simprily_autobuild

（将本地data目录挂载到容器内/data，进入交互模式使用工具）