stevetsa/pyscript

更新

本仓库从 https://github.com/CCBR/Pipeliner fork而来。你可以点击 https://mybinder.org/badge.svg](https://mybinder.org/v2/gh/stevetsa/Pipeliner/master?filepath=binder%2Fheatmap.R.ipynb) 运行Jupyter Notebook（R内核）生成研究用热图。

测试

请点击 https://github.com/CCBR/Pipeliner/blob/master/PipelinerVer1.0_documentation.pdf 查看/下载完整的Pipeliner手册。

Pipeliner

概述

Pipeliner提供对CCBR在NIH Biowulf Linux集群上使用的部分NGS数据分析管道的访问。用户可选择fastq序列读数等数据文件，通过一系列程序组成的分析“管道”处理，得到带注释的突变列表等结果。程序提供图形界面，通过下拉菜单和文本输入框配置管道选项，配置完成后在Biowulf集群执行。

核心功能

• 支持ExomeSeqPairs、ExomeSeqGermline、RNASeq（基于计数）等多种NGS数据分析管道
• 图形界面简化管道配置流程
• 利用Snakemake管理工作流，确保流程可靠性
• 生成质量控制报告和分析结果聚合报告

使用场景

• 人类/小鼠基因组Exome测序数据的变异分析
• RNA测序数据的计数与表达分析
• 生物信息学实验中NGS数据的批量自动化处理

配置说明

前提条件

• 拥有NIH Biowulf Linux集群的有效账户

运行步骤

Pipeliner需在Biowulf集群上运行，需通过带X11转发的ssh或NoMachine NX终端（RNAseq专用）登录：

bash
ssh -Y 用户名@biowulf.nih.gov  

登录后启动Pipeliner：

bash
/path/to/pipeliner/install/runpipe.sh  

若自行安装，需编辑安装目录内的hg19.json、mm10.json、standard-bin.json文件，调整程序和文件路径。

在Pipeliner界面中，需按以下顺序操作：

1. 设置工作目录（需提前创建，用于存放所有输出）
2. 指定数据源目录（含fastq等起始数据）
3. 初始化工作目录（清空并创建子目录，填充运行所需文件）
4. 链接数据文件到工作目录（创建符号链接，避免复制大文件）
5. 执行Dry Run验证配置正确性（有错误需先修正）
6. 提交管道作业到Biowulf集群

关键配置文件

Pipeliner使用JSON格式配置文件：

• hg19.json: 人类基因组hg19版本的参考信息
• standard-bin.json: 管道依赖程序的路径配置
• rules.json: Snakemake规则与管道的映射关系
• cluster.json: 每个规则的SLURM资源参数（内存、CPU、时间）

后端程序

• pipeliner.py: 主程序，包含图形界面组件
• makeasnake.py: 生成Snakemake所需的Snakefile
• stats2html.py: 生成分析结果的HTML报告

工作目录结构

• Reports: 聚合报告脚本及生成的报告
• QC: 各步骤质量控制报告
• Scripts: 自定义分析脚本

Docker部署说明

该镜像主要适配NIH Biowulf集群环境。若通过Docker运行，基础命令如下：

bash
docker run -it docker.xuanyuan.run/stevetsa/pyscript

注意：需挂载数据目录和配置文件，并确保满足Biowulf集群的访问权限要求。

已实现管道

• ExomeSeqPairs
• ExomeSeqGermline
• RNASeq（基于计数）

计划管道

• ChipSeq
• mirSeq

支持生物

• 人类（hg19）
• 小鼠（mm10）

添加自定义管道

1. 向Rules目录添加Snakemake规则
2. 在rules.json中关联规则与管道名称
3. 编辑pipeliner.py，在GUI下拉菜单中添加新管道条目