broadinstitute/terra-tools

terra-tools Docker镜像文档

镜像概述

terra-tools是Broad Institute提供的Docker镜像，用于运行与Terra平台相关的脚本工具。该镜像封装了运行Terra脚本所需的环境和依赖，支持通过Docker容器方式执行脚本，避免本地环境配置复杂性，同时支持Google Cloud认证和本地数据目录挂载。

核心功能与特性

• 环境隔离：封装Python环境及依赖，避免本地环境冲突
• Google Cloud认证：支持挂载本地Google Cloud凭据目录，实现容器内认证
• 数据持久化：支持本地目录挂载，实现容器内外数据共享
• 灵活执行：可直接在容器内运行指定路径的Python脚本及参数

使用场景

• Terra平台数据处理脚本执行（如大型TSV文件导入等）
• 需要一致运行环境的Terra相关自动化任务
• 避免本地Python环境依赖冲突的场景

使用方法

Docker运行命令格式

bash
docker run --rm -it -v "$HOME"/.config:/.config -v "$HOME"/Documents/:/data docker.xuanyuan.run/broadinstitute/terra-tools:latest bash -c "cd data; python3 /scripts/path_to_script/<script name.py> <arguments>"

参数说明

1. -v "$HOME"/.config:/.config
   挂载本地Google Cloud凭据目录，使容器内可使用本地的Google认证信息（凭据默认存储位置）

2. -v "$HOME"/Documents/:/data
   挂载本地目录（示例中为Documents）到容器内的/data目录，实现数据共享

   • 脚本生成的文件将写入本地挂载目录
   • 可替换"Documents"为本地任意路径

3. bash -c
   指示Docker执行后续bash命令（引号内可包含多个用分号分隔的命令）

示例：运行import_large_tsv.py脚本

1. 将输入TSV文件（<tsv_name>）移动到本地Documents目录
2. 执行以下命令：

bash
docker run --rm -v "$HOME"/.config:/.config -v "$HOME"/Documents/:/data docker.xuanyuan.run/broadinstitute/terra-tools:latest bash -c "cd data; python3 scripts/import_large_tsv/import_large_tsv.py --tsv data/<tsv_name> --project <terra_project> --workspace <terra_workspace>"

其中：

• <tsv_name>：输入TSV文件名
• <terra_project>：Terra项目名称
• <terra_workspace>：Terra工作区名称

先决条件

• 安装Google Cloud SDK：https://cloud.google.com/sdk/downloads
• 配置Application Default Credentials：执行gcloud auth application-default login
• 本地运行（非Docker方式）需Python 3.7及requirements.txt中指定的依赖包