dukegcb/bwa-samtools

GCB-Dockerfiles 镜像文档

镜像概述和主要用途

本仓库包含用于构建计算基因组学工具版本化容器镜像的Dockerfile和测试文件。生成的镜像推送到https://hub.docker.com/%E7%9A%84https://hub.docker.com/u/dukegcb/%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8ECWL%E5%B7%A5%E4%BD%9C%E6%B5%81%E6%88%96Singularity%E7%8E%AF%E5%A2%83%E3%80%82%E4%BB%93%E5%BA%93%E7%9A%84%E7%9B%AE%E5%BD%95%E7%BB%93%E6%9E%84%E9%87%87%E7%94%A8%E7%89%B9%E5%AE%9A%E7%BA%A6%E5%AE%9A%E6%9D%A5%E7%A1%AE%E5%AE%9A%E6%9E%84%E5%BB%BA%E7%9A%84Docker%E9%95%9C%E5%83%8F%E5%90%8D%E7%A7%B0%E5%92%8C%E6%A0%87%E7%AD%BE%EF%BC%8C%E4%B8%8B%E6%96%87%E5%B0%86%E8%AF%A6%E7%BB%86%E8%AF%B4%E6%98%8E%E3%80%82

核心功能和特性

• 版本化管理：按工具名称和版本组织Dockerfile，支持精确的版本控制
• 自动构建与标签：基于目录结构自动确定镜像名称和标签，支持latest标签
• 持续集成：自动化构建、测试和推送镜像到Docker Hub
• 兼容性：生成的镜像适用于CWL工作流和Singularity容器系统
• 可测试性：每个Dockerfile配有测试文件，确保工具正确安装和运行

使用场景和适用范围

• 计算基因组学数据分析流程
• CWL工作流中集成基因组学工具
• Singularity环境下运行基因组学分析
• 需要版本化控制的生物信息学工具部署

详细使用方法和配置说明

目录结构

由于本仓库包含多个Dockerfile，目录结构按工具名称和版本组织，以支持自动构建和版本约定。Dockerfile位于工具和版本的子目录中，例如FastQC 0.11.4版本的Dockerfile位于fastqc/0.11.4/Dockerfile。

版本控制和标签

为了保留版本并支持Docker latest标签，构建时采用以下两个约定：

1. 直接包含Dockerfile的目录名称用作Docker镜像标签
2. 创建指向某个版本目录的latest符号链接，该版本将同时被标记为latest

示例目录结构：

$ ls -ld fastqc/*
drwxr-xr-x  4 dcl9  staff  128 Feb 14 13:57 fastqc/0.11.4
lrwxr-xr-x  1 dcl9  staff    6 Feb 14 10:52 fastqc/latest -> 0.11.4

上述结构将从fastqc/0.11.4中的Dockerfile构建镜像dukegcb/fastqc:0.11.4，并同时标记为dukegcb/fastqc:latest。

命名限制

目录命名需符合Docker镜像和标签的命名规则。工具名称和版本可能包含无效字符（如+），需注意：

• 镜像名称：组件可包含小写字母、数字和分隔符（句点、1-2个下划线或1个以上连字符），不能以分隔符开头或结尾
• 标签：必须为有效的ASCII字符，可包含大小写字母、数字、下划线、句点和连字符，不能以句点或连字符开头，最大长度为128个字符

持续集成

仓库包含脚本用于自动化构建、测试和推送Docker镜像到公共Docker Hub registry，脚本包括build-ci.sh、test-ci.sh和deploy-ci.sh。这些脚本依赖上述约定，并使用functions.sh中的函数确定各阶段处理内容。

CI流程在CircleCI上运行，配置在.circle/config.yml，需要以下4个环境变量：

• DEPLOY_BRANCH：在此git分支（通常为master）上的更改将触发镜像推送到Docker Hub
• DOCKERHUB_ORG：用于命名和推送镜像的Docker组织名称（如dukegcb）
• DOCKERHUB_USERNAME：用于Docker Hub认证的用户名
• DOCKERHUB_PASSWORD：用于Docker Hub认证的密码

Docker Hub凭据

CI服务需通过docker login登录Docker Hub，使用上述变量中设置的用户名/密码。为避免使用个人账号凭据，使用专门为此创建的Docker Hub账号，该账号是cibuild团队的成员，对Docker仓库具有写权限。

测试

每个Dockerfile旁应包含unittest.yml文件，描述如何测试构建的镜像。这些测试用于确认预期工具已安装并能正常运行。

示例测试文件（FastQC的unittest.yml）：

yaml
commands:
  - cmd: "fastqc -h"
    expect_text: ".*fastqc seqfile1 seqfile2.*"

该测试断言运行fastqc -h命令会产生预期的使用文本。

构建

Dockerfile的构建命令在functions.sh中定义：

bash
docker build -f "$tool/$version/Dockerfile" -t "$owner/$tool:$version" "$tool/$version"

可在本地运行此命令确认镜像构建是否正确。

贡献指南

添加新工具

1. 在dukegcb Docker Hub组织下创建与工具名称相同的仓库
2. 在协作者中添加cibuild团队并授予写权限
3. 在本地仓库副本中为新工具创建分支
4. 按照添加新工具版本中的步骤2-10操作

添加新工具版本

1. 在本地仓库副本中为新版本创建分支
2. 在工具目录下创建版本目录
3. 在该目录中创建并编辑Dockerfile以安装该版本的工具
4. 确认Dockerfile能正常构建
5. 编写unittest.yml文件测试工具是否正常运行
6. 若需将latest标签更新为此版本，更新latest符号链接：rm latest && ln -s new-version latest
7. 将分支推送到GitHub
8. CircleCI将构建和测试分支中更改的Dockerfile，但不会推送到Docker Hub
9. 提交拉取请求将更改合并到master分支
10. 审核并合并到master后，新构建的镜像将推送到Docker Hub