davelabhub/cancer

Cancer Toolbox 镜像文档

镜像概述和主要用途

Cancer Toolbox是一个基于Python的工具集，专为在多处理器计算机上处理FASTQ文件设计。该工具集提供了一系列针对Illumina测序数据的处理功能，包括数据解复用、barcode分析、reads比较等，旨在利用多CPU资源提高FASTQ文件处理效率，适用于需要高效处理大型测序数据的场景。

核心功能和特性

主要功能

• 访问Illumina BaseSpace平台上的FASTQ文件
• 对Illumina双端测序的未确定reads进行解复用
• 通过内联barcode（inline barcode）解复用FASTQ reads
• 比较两个双端FASTQ文件对中的reads
• 统计FASTQ文件中内联barcode的使用计数

多处理特性

• 针对多CPU服务器优化，推荐使用16 CPU配置处理单个压缩FASTQ（fastq.gz）文件
• 支持同时处理同一样本的多个FASTQ文件对（如Illumina MiniSeq平台产生的4对文件）
• 使用https://github.com/marcelm/dnaio/%E5%8C%85%E8%AF%BB%E5%8F%96FASTQ%E6%96%87%E4%BB%B6%EF%BC%8C%E5%BA%95%E5%B1%82%E9%80%9A%E8%BF%87https://github.com/marcelm/xopen/%E8%B0%83%E7%94%A8pigz%E5%AE%9E%E7%8E%B0%E5%A4%9A%E7%BA%BF%E7%A8%8B%E5%8E%8B%E7%BC%A9/%E8%A7%A3%E5%8E%8B

FASTQ处理框架

• 基于FASTQProcessor类（位于fastq.processor）构建处理框架，实现文件读取、数据处理和结果写入的完整流程
• 每个FASTQ文件对分配独立的读取进程，负责文件解压和数据读取
• 读取的数据放入队列，由多个工作进程并行处理，处理结果由工作进程负责压缩并写入新文件

使用场景和适用范围

适用场景

• Illumina测序平台（如MiniSeq）产生的多文件对样本数据处理
• 需要高效处理大型FASTQ文件的高通量测序数据分析
• 双端测序数据的解复用和质量控制
• 内联barcode的识别、计数与样本拆分

适用环境

• 多CPU服务器（如GCP/AWS/Azure VM实例、Kubernetes节点）
• 推荐配置：16 CPU（更高CPU可能受单文件解压瓶颈限制，多文件对处理时需关注磁盘I/O性能）
• 需安装pigz工具以支持多线程压缩/解压功能

详细使用方法和配置说明

环境要求

• Python 3.6
• 依赖包：详见镜像内requirements.txt
• 系统工具：pigz（用于多线程压缩/解压）

Docker镜像获取

bash
docker pull docker.xuanyuan.run/qiuosier/cancer

基本使用方式

工具集入口点为python -m Cancer.run，通过以下命令查看帮助信息：

查看所有可用程序

bash
docker run --rm docker.xuanyuan.run/qiuosier/cancer python -m Cancer.run --help

查看特定子程序选项

bash
docker run --rm docker.xuanyuan.run/qiuosier/cancer python -m Cancer.run SUB_PROGRAM --help

（将SUB_PROGRAM替换为具体子程序名称，如DemultiplexInline）

典型部署示例

内联barcode解复用

bash
docker run --rm \
  -v /path/to/local/input:/input \
  -v /path/to/local/output:/output \
  docker.xuanyuan.run/qiuosier/cancer \
  python -m Cancer.run DemultiplexInline \
    --input /input \
    --output /output \
    --barcode-file /input/barcodes.txt \
    --threads 16

• -v /path/to/local/input:/input：挂载本地输入目录到容器内/input
• -v /path/to/local/output:/output：挂载本地输出目录到容器内/output
• --barcode-file：指定barcode参考文件路径
• --threads：指定工作进程数（建议不超过CPU核心数）

多文件对并行处理

针对同一样本的多个FASTQ文件对（如4对文件），工具会自动分配读取进程和工作进程，无需额外配置，只需确保输入目录包含所有相关文件对。