broadinstitute/dsde-toolbox

DSDE Toolbox

镜像概述和主要用途

DSDE Toolbox是Broad Institute提供的Docker镜像，集成了多种开发和运维工具，主要用于Vault密钥管理、配置文件生成、数据库连接以及Workbench状态监控等任务，简化内部开发和运维工作流。

核心功能和特性

• Vault交互：支持Vault认证、密钥读取、编辑及token信息查询
• 配置管理：提供模板渲染工具，支持二进制文件Base64编解码
• 数据库连接：简化CloudSQL数据库连接流程
• 状态监控：提供Workbench状态仪表盘和环境实例状态查询
• 工具集成：整合vault、mysql客户端等多种实用工具

使用场景和适用范围

适用于Broad Institute内部需要进行以下操作的开发和运维人员：

• 管理Vault中的密钥和敏感信息
• 生成和渲染配置文件
• 连接CloudSQL数据库
• 监控Workbench服务状态和版本信息

前置条件

使用前需确保：

• 已登录Docker Hub并可访问https://hub.docker.com/r/broadinstitute/dsde-toolbox/
• 已安装Docker并启动服务
• 通过docker login命令登录Docker Hub
• 连接Broad-Internal Wi-Fi或***

详细使用方法

Vault认证

新说明：建议直接安装vault可执行文件以避免性能和兼容性问题。如需使用dsde-toolbox进行认证，可继续使用以下方法。

旧认证方法：

1. 生成https://github.com/settings/tokens%EF%BC%8C%E4%BB%85%E9%80%89%E6%8B%A9%60read:org%60%E6%9D%83%E9%99%90
2. 使用以下命令认证（将创建~/.vault_token文件）：

bash
docker run -it --rm \
    -v $HOME:/root:rw \
    broadinstitute/dsde-toolbox:dev vault login -method=github token=<<GITHUB TOKEN VALUE>>

若令牌已保存到文件，可使用：-method=github token=$(cat <<PATH TO GITHUB TOKEN FILE>>)

使用Vault检索密钥

bash
docker run -it --rm \
    -v $HOME:/root \
    broadinstitute/dsde-toolbox:dev vault read secret/path/to/secret

编辑Vault密钥

bash
docker run -it --rm \
    -v $HOME:/root \
    broadinstitute/dsde-toolbox:dev vault-edit secret/path/to/secret

二进制文件转换为Vault兼容格式

将二进制文件转换为Base64编码格式，输出文件自动添加.b64扩展名：

bash
docker run -it --rm \
    -v "$PWD":/working \
    broadinstitute/dsde-toolbox:dev binary2string.sh /working/foo.binary

示例中输入文件foo.binary将生成foo.binary.b64输出文件

创建配置集

渲染./src/main/config目录下的模板文件至./target/config：

bash
docker run -it --rm \
    -v $HOME:/root \
    -v "$PWD":/working \
    broadinstitute/dsde-toolbox:dev render-templates.sh local

注意：扩展名为.p12.ctmpl或.jks.ctmpl的模板文件内容将从Vault解码Base64后写入目标文件，支持存储二进制文件。

查询当前Vault Token信息

bash
docker run -it --rm \
    -v $HOME:/root \
    broadinstitute/dsde-toolbox:dev tokenInfo

查询任意Vault Token信息（需管理员权限）

bash
docker run -it --rm \
    -v $HOME:/root \
    broadinstitute/dsde-toolbox:dev tokenInfo some-vault-token-xxx-yyy

连接数据库

bash
docker run -it --rm \
   -v $HOME:/root \
   broadinstitute/dsde-toolbox:dev mysql-connect.sh -p firecloud -e $ENV -a $SERVICE

• $ENV：环境标识（dev、alpha、staging、prod、qa、perf）
• $SERVICE：服务名称（如rawls、consent等）

重建镜像

bash
docker build -t broadinstitute/dsde-toolbox:dev .

查看Workbench状态/版本仪表盘

1. 调整终端字体大小（建议按Command+-缩小3-4次）
2. 运行仪表盘命令：

bash
docker run --rm -it -e TZ="America/New_York" broadinstitute/dsde-toolbox:dev status

查看特定环境实例状态

bash
docker run --rm -it -v ${HOME}/.vault-token:/root/.vault-token dashboard envStatus <staging | perf | alpha | dev | prod>

需指定一个环境，例如：docker run --rm -it -v ${HOME}/.vault-token:/root/.vault-token dashboard envStatus perf