nfcore/base

nf-core/tools

一个为nf-core社区提供辅助工具的Python包。

在nf-core网站上阅读此文档：[*]

目录

• nf-core工具安装
• nf-core list - 列出可用管道
• nf-core launch - 通过交互式参数提示运行管道
• nf-core download - 下载管道用于离线使用
• nf-core licences - 列出管道中的软件许可证
• nf-core create - 使用nf-core模板创建新管道
• nf-core lint - 检查管道代码是否符合nf-core指南
• nf-core schema - 处理管道模式文件
• nf-core bump-version - 更新nf-core管道版本号
• nf-core sync - 同步管道TEMPLATE分支
• nf-core modules - 处理DSL2模块的命令
  • modules list - 列出可用模块
  • modules install - 从nf-core/modules安装模块
  • modules remove - 从管道中移除模块
  • modules create - 从模板创建模块
  • modules create-test-yml - 为模块创建test.yml文件
  • modules lint - 检查模块是否符合nf-core指南
• 引用

nf-core工具包使用Python编写，可导入并在其他包中使用。有关内部Python函数的文档，请参阅工具Python API文档。

安装

Bioconda

您可以从https://bioconda.github.io/recipes/nf-core/README.html%E5%AE%89%E8%A3%85%60nf-core/tools%60%E3%80%82

首先，安装conda并配置使用bioconda的通道（参见https://bioconda.github.io/user/install.html%EF%BC%89%E3%80%82%E7%84%B6%E5%90%8E%EF%BC%8C%E8%BF%90%E8%A1%8Cconda%E5%AE%89%E8%A3%85%E5%91%BD%E4%BB%A4%EF%BC%9A

bash
conda install nf-core

或者，您可以创建一个同时包含nf-core/tools和nextflow的新环境：

bash
conda create --name nf-core python=3.7 nf-core nextflow
conda activate nf-core

Python包索引

nf-core/tools也可以使用pip从PyPI安装，如下所示：

bash
pip install nf-core

开发版本

如果您需要最新的开发版本工具，命令如下：

bash
pip install --upgrade --force-reinstall git+https://github.com/nf-core/tools.git@dev

如果您打算编辑代码，首先创建存储库的分支，然后在本地克隆。进入克隆目录并使用pip安装（同时安装开发依赖）：

bash
pip install --upgrade -r requirements-dev.txt -e .

使用特定的Python解释器

如果您愿意，也可以使用特定的Python解释器运行工具。命令行用法和标志与运行nf-core命令时完全相同。注意，模块是nf_core（带下划线），而不是控制台命令中的连字符。

例如：

bash
python -m nf_core --help
python3 -m nf_core list
~/my_env/bin/python -m nf_core create --name mypipeline --description "这是一个新的骨架管道"

在自己的Python脚本中使用

工具功能的编写方式允许您将其导入到自己的脚本中。例如，如果您想获取所有可用的nf-core管道列表：

python
import nf_core.list
wfs = nf_core.list.Workflows()
wfs.get_remote_workflows()
for wf in wfs.remote_workflows:
    print(wf.full_name)

请参阅[***]

自动版本检查

nf-core/tools会自动检查网络，查看是否有新版本的nf-core/tools可用。如果您希望跳过此检查，请设置环境变量NFCORE_NO_VERSION_CHECK。例如：

bash
export NFCORE_NO_VERSION_CHECK=1

列出管道

命令nf-core list显示所有可用的nf-core管道，以及它们的最新版本、发布时间和最近一次拉取到本地系统的时间（如果有）。

该命令的输出示例如下：

console
$ nf-core list

                                          ,--./,-.
          ___     __   __   __   ___     /,-._.--~\
    |\ | |__  __ /  ` /  \ |__) |__         }  {
    | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                          `._,._,'

    nf-core/tools version 1.13

┏━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━┓
┃ 管道名称          ┃ 星标数 ┃ 最新版本       ┃ 发布时间      ┃ 最后拉取时间 ┃ 是否有最新版本        ┃
┡━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━┩
│ rnafusion         │    45 │          1.2.0 │   2周前       │            - │ -                     │
│ hic               │    17 │          1.2.1 │   3周前       │ 4个月前      │ 否 (v1.1.0)           │
│ chipseq           │    56 │          1.2.0 │   4周前       │  4周前       │ 否 (dev - bfe7eb3)    │
│ atacseq           │    40 │          1.2.0 │   4周前       │  6小时前     │ 否 (master - 79bc7c2) │
│ viralrecon        │    20 │          1.1.0 │  1个月前      │ 1个月前      │ 是 (v1.1.0)           │
│ sarek             │    59 │          2.6.1 │  1个月前      │            - │ -                     │
[..截断..]

要缩小列表范围，请提供一个或多个额外关键字，根据标题、描述和主题中的匹配项筛选管道：

console
$ nf-core list rna rna-seq

                                          ,--./,-.
          ___     __   __   __   ___     /,-._.--~\
    |\ | |__  __ /  ` /  \ |__) |__         }  {
    | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                          `._,._,'

    nf-core/tools version 1.13

┏━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┓
┃ 管道名称      ┃ 星标数 ┃ 最新版本       ┃ 发布时间     ┃ 最后拉取时间 ┃ 是否有最新版本       ┃
┡━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━┩
│ dualrnaseq    │     3 │          1.0.0 │ 1个月前      │           - │ -                    │
│ rnaseq        │   304 │            3.0 │ 3个月前      │ 1年前       │ 否 (v1.4.2)          │
│ rnafusion     │    56 │          1.2.0 │ 8个月前      │ 2年前       │ 否 (v1.0.1)          │
│ smrnaseq      │    18 │          1.0.0 │  1年前       │           - │ -                    │
│ circrna       │     1 │            dev │            - │           - │ -                    │
│ lncpipe       │    18 │            dev │            - │           - │ -                    │
│ scflow        │     2 │            dev │            - │           - │ -                    │
└───────────────┴───────┴────────────────┴──────────────┴─────────────┴──────────────────────┘

您可以按最新发布时间（-s release，默认）、上次拉取本地副本的时间（-s pulled）、字母顺序（-s name）或GitHub星标数（-s stars）对结果进行排序。

console
$ nf-core list -s stars

                                          ,--./,-.
          ___     __   __   __   ___     /,-._.--~\
    |\ | |__  __ /  ` /  \ |__) |__         }  {
    | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                          `._,._,'

    nf-core/tools version 1.13

┏━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━┓
┃ 管道名称          ┃ 星标数 ┃ 最新版本       ┃ 发布时间      ┃ 最后拉取时间 ┃ 是否有最新版本        ┃
┡━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━┩
│ rnaseq            │   207 │          1.4.2 │  9个月前      │   5天前      │ 是 (v1.4.2)          │
│ sarek             │    59 │          2.6.1 │  1个月前      │            - │ -                     │
│ chipseq           │    56 │          1.2.0 │   4周前       │  4周前       │ 否 (dev - bfe7eb3)    │
│ methylseq         │    47 │            1.5 │  4个月前      │            - │ -                     │
│ rnafusion         │    45 │          1.2.0 │   2周前       │            - │ -                     │
│ ampliseq          │    41 │          1.1.2 │  7个月前      │            - │ -                     │
│ atacseq           │    40 │          1.2.0 │   4周前       │  6小时前     │ 否 (master - 79bc7c2) │
[..截断..]

要返回JSON输出用于下游使用，请使用--json标志。

默认情况下不返回已归档的管道。要包含它们，请使用--show_archived标志。

启动管道

有些Nextflow管道有相当多的命令行标志可以使用。为了帮助解决这个问题，您可以使用nf-core launch命令。您可以选择基于Web的图形界面或交互式命令行向导工具来输入运行的管道参数。两种界面都显示每个参数的文档并验证您的输入。

该工具使用管道的nextflow_schema.json文件提供参数描述、默认值和分组。如果未找到管道的文件，将在运行时自动生成一个。

Nextflowparams变量保存到名为nf-params.json的JSON文件中，并通过-params-file标志供Nextflow使用。这使得将来重用这些参数更加容易。

该命令接受一个参数——要么是将自动拉取的nf-core管道名称，要么是包含Nextflow管道的目录路径（可以是任何管道，不一定是nf-core的）。

console
$ nf-core launch rnaseq

                                          ,--./,-.
          ___     __   __   __   ___     /,-._.--~\
    |\ | |__  __ /  ` /  \ |__) |__         }  {
    | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                          `._,._,'

    nf-core/tools version 1.13


INFO     此工具忽略Nextflow配置文件或配置文件覆盖的任何管道参数默认值

INFO     使用本地工作流：nf-core/rnaseq (v3.0)
INFO     [✓] 默认参数看起来有效
INFO     [✓] 管道模式看起来有效（找到85个参数）
INFO     您想使用基于Web的界面还是命令行向导输入管道参数？
? 选择启动方式  命令行


?  Nextflow命令行标志
控制管道运行方式的通用Nextflow标志。
这些不是特定于管道的，不会保存在任何参数文件中。它们仅在构建nextflow run启动命令时使用。
(使用箭头键)

 » 继续 >>
   ---------------
   -name
   -profile
   -work-dir  [./work]
   -resume  [False]

完成后，向导会询问您是否要启动Nextflow运行。如果不启动，您可以复制并粘贴带有输入的nf-params.json文件的Nextflow命令。

console
INFO     [✓] 输入参数看起来有效
INFO     Nextflow命令：
         nextflow run nf-core/rnaseq -params-file "nf-params.json"


您现在要运行此命令吗？  [y/n]:

启动工具选项

• -r, --revision
  • 指定要运行的项目的管道版本（或分支/git提交sha）
• -i, --id
  • 您可以通过点击网站上的“启动”来使用nf-core管道的Web GUI。填写后，您将获得一个ID用于此命令，以检索您的输入。
• -c, --command-only
  • 如果您不想将输入保存在JSON文件中并使用-params-file，此选项将直接在nextflow命令中指定所有输入的参数。
• -p, --params-in PATH
  • 要使用先前管道运行中输入的值，您可以提供先前生成的nf-params.json文件。
  • 这将在启动向导之前覆盖管道模式默认值。
• -o, --params-out PATH
  • 保存参数JSON文件的路径。（默认：nf-params.json）
• -a, --save-all
  • 没有此选项，管道将忽略任何与管道模式默认值匹配的值。
  • 此选项将所有找到的参数保存到JSON文件中。
• -h, --show-hidden
  • 管道JSON模式可以将某些参数定义为“隐藏”，如果它们很少使用或仅用于内部管道使用。
  • 此选项强制向导显示所有参数，包括标记为“隐藏”的参数。
• --url
  • 更改用于图形界面的URL，对网站的开发工作很有用。

下载管道用于离线使用

有时您可能需要在没有互联网连接的服务器或HPC系统上运行nf-core管道。在这种情况下，您需要先获取管道文件，然后手动传输到您的系统。

为了简化此过程并确保准确检索正确版本的代码和软件容器，我们编写了一个下载辅助工具。只需指定nf-core管道的名称，它将下载到您当前的工作目录。

默认情况下，管道将下载管道代码和https://github.com/nf-core/configs%E6%96%87%E4%BB%B6%E3%80%82%E5%A6%82%E6%9E%9C%E6%82%A8%E6%8C%87%E5%AE%9A%60--singularity%60%E6%A0%87%E5%BF%97%EF%BC%8C%E5%AE%83%E8%BF%98%E5%B0%86%E4%B8%8B%E8%BD%BD%E6%89%80%E9%9C%80%E7%9A%84%E4%BB%BB%E4%BD%95Singularity%E9%95%9C%E5%83%8F%E6%96%87%E4%BB%B6%E3%80%82

使用-r/--release下载管道的特定版本。如果未指定，该工具将自动获取最新版本。

console
$ nf-core download rnaseq -r 3.0 --singularity

                                          ,--./,-.
          ___     __   __   __   ___     /,-._.--~\
    |\ | |__  __ /  ` /  \ |__) |__         }  {
    | \| |       \__, \__/ |  \ |___     \`-._,-`-,
                                          `._,._,'

    nf-core/tools version 1.13



INFO     正在保存rnaseq
          管道版本: '3.0'
          拉取Singularity容器: '是'
          输出文件: 'nf-core-rnaseq-3.0.tar.gz'
INFO     从GitHub