shinejh0528/pipeline_runner_snakemake

Snakemake管道运行器镜像文档

概述

该镜像为Snakemake工作流语言提供管道运行环境，集成Python、Snakemake和Singularity等核心工具，支持容器化工作流执行，简化数据分析管道的部署与运行流程。

版本信息

1.0.0

• 包含工具：docker、python3.11、snakemake 7.32.2、singularity 4.0.2

1.1.0

注意：无法在Docker内部直接使用SGE，需预先配置SGE和NFS环境。

• 包含工具：与1.0.0版本相同，新增sun grid engine(SGE) 8.1.9

限制

• 单服务器环境下的Snakemake运行测试已完成
• 集群环境未经过测试，可能存在运行失败风险

使用方法

Docker运行命令

由于Singularity需要特权模式，运行容器时必须使用--privileged选项。

示例命令：

bash
docker run --privileged -it -v /data08:/data08 -v /TBI:/TBI shinejh0528/pipeline_runner:snakemake_1.0.0 /bin/bash

说明：-v参数用于挂载宿主机目录到容器内，需根据实际数据路径调整。

Snakemake执行命令

使用容器化工具时，需通过--use-singularity和--singularity-args指定Singularity参数。

示例命令：

bash
snakemake \
    --jobs 150 --local-cores 8 \
    --use-singularity \
    --singularity-args '--bind /data08,/TBI' \
    --printshellcmds \
    --snakefile ${pplrep}/workflow/${anlmd}.snakefile \
    --configfile ${workhome}/config.yaml \
    --directory ${workhome} \
    --config 'prjtid=${prjtid}' \
             'anlid=${anlid}' \
             'atmid=${atmid}' \
             'pipedir=${pplrep}' \
             'anlmd=${anlmd}' \
             'vqsrmd=${vqsrmd}' \
             'ref=${pplrep}/config/ref.${refid}.yaml' \
             'kit=${pplrep}/config/kit.${kitid}.yaml' \
             'param=${pplrep}/config/param.${anlmd}.yaml' \
             'workdir=${workhome}' \
             'conf_cnv=${workhome}/config.cnv.yaml' \
    --notemp \
    --latency-wait=120 \
    --max-jobs-per-second 5 \
    --keep-target-files \
    --keep-going

说明：${变量名}需替换为实际路径或参数值；--singularity-args '--bind'用于绑定容器内外目录。

集群配置参考

若需在集群环境中使用Snakemake，可参考以下模板配置SGE等集群调度系统：
https://github.com/Shin-jongwhan/snakemake_template