foldingathome/fah-gpu

Folding@home GPU容器

Folding@home是一个分布式计算项目，用于模拟蛋白质动态，包括蛋白质折叠过程以及与多种疾病相关的蛋白质运动。它汇聚了志愿在个人计算机上运行蛋白质动态模拟的公民科学家。这些数据带来的见解正帮助科学家更好地理解生物学，并为开发治疗方法提供新机会。

概述

运行Folding@home容器相对直接，但必须特别注意管理工作单元（Work Units）并按时返回。

本文档假设用户熟悉Linux和容器。由于前提条件和设置的复杂性，此容器并非理想的"hello-world"示例——标准的Folding@home Linux客户端运行良好且开销略低。

Folding@home容器类似于需要持久化存储挂载到/fah的数据库容器，且需要谨慎的生命周期管理以避免丢失或浪费工作。config.xml还包含客户端状态，因此必须按此方式管理。

容器基于CUDA 9.2构建以获得更好的兼容性，详情参见：https://docs.nvidia.com/deploy/cuda-compatibility/index.html

本文档以Docker作为示例运行时，但也支持其他运行时。有关Singularity和其他运行时，请阅读其他运行时部分。

Folding@home容器操作规范

以下内容将在下文详细说明，此处列出以确保清晰（遵循RFC 2119规范）：

• 必须将可读写的持久化存储挂载到运行中容器的/fah目录。运行中的容器不得共享同一挂载目录，但目录应被重用以避免丢失工作单元。
• 必须在首次运行容器前，在每个持久化存储目录中创建并预加载经过调优的config.xml。
• 必须通过--user或等效参数指定容器运行的uid:gid，确保运行中的容器对挂载到/fah的持久化存储具有读写权限。
• 不应以root用户运行容器。
• 不应在没有防火墙规则、加密和强密码的情况下将端口暴露到互联网。

Folding@home相关网站

• Folding@home官网：[***]
• Folding@home支持论坛：[***]
• Folding@home容器GitHub：https://github.com/foldingathome/containers/
• Folding@home Docker Hub：https://hub.docker.com/u/foldingathome

反馈与问题

有关设计目标、架构、贡献指南和其他信息，请阅读https://github.com/foldingathome/containers/ 上的README和CONTRIBUTING文档。

容器相关的错误或问题请在GitHub上提交：https://github.com/foldingathome/containers/issues

前提条件

用户配置设置

• 选择用户名 - 常见问题。
• 设置Passkey。完成10个工作单元后将获得额外积分。
• 加入团队或创建自己的团队 - 常见问题。
• 如在公司内部运行，请确保管理层已批准使用公司资源参与项目以及所使用的团队/用户名。

这些值将在后续的config.xml中使用。

技术要求

• Docker 19.03或更高版本（单节点）。
• 每个运行的容器需要持久化存储。

针对NVIDIA GPU

• 更新的NVIDIA GPU驱动程序v460.32.03或更高版本。强烈建议使用最新版本，避免使用.run文件。
• NVIDIA容器运行时 - https://github.com/NVIDIA/nvidia-container-runtime

单机器运行

在集群或云上扩展容器之前，必须熟悉/fah存储要求、生命周期和使用方法，以确保完成工作单元并为Folding@home的研究提供帮助。首先从单机器开始。

单机器设置

满足前提条件后，即可运行容器。

参见示例配置文件，确保设置用户/ passkey /团队信息。

bash
# 创建持久化存储目录
mkdir $HOME/fah

# 根据下方示例配置编辑config.xml，使用vi或其他编辑器
vi $HOME/fah/config.xml

随着时间推移，config.xml将包含客户端状态，并会被客户端重写。

单机器启动折叠计算

bash
# 使用GPU运行容器，命名为"fah0"，映射用户和/fah卷
docker run --gpus all --name fah0 -d --user "$(id -u):$(id -g)" \
  --volume $HOME/fah:/fah fah-gpu:VERSION

单机器监控日志

bash
# 查看当前运行的输出
docker logs fah0

# 实时查看日志
docker logs -f fah0

单机器停止容器

bash
# 等待工作单元完成后停止容器（推荐），可能需要数小时
docker exec fah0 FAHClient --send-command finish

# 检查点后停止容器，通常不超过30秒。
# 确保稍后重新启动以在工作单元过期前完成计算
docker exec fah0 FAHClient --send-command shutdown
# 也可以直接终止容器，但不推荐

集群运行

容器编排工具众多，因此要求尽可能简单：

• 容器编排需能够分配和管理GPU。
• 每台机器/VM运行一个容器——每个客户端可管理多个GPU和CPU核心，且config.xml应根据主机/VM大小进行调优。
• 每个运行的容器必须有自己独立的持久化存储目录挂载到容器的/fah目录。这些目录应被重用，但两个容器绝不能使用同一目录。

集群存储设置

在集群存储上创建根文件夹（例如.../root-dir/），并通过以下方法之一创建子目录：

方法1：对于小型集群，每台主机一个目录较为简单。运行容器时，可将.../root-dir/$hostname/挂载到在hostname上运行的作业的/fah目录。

方法2：对于大型集群，可创建一组可重用的目录，基于运行的客户端数量。运行时需要更仔细的管理，但将.../root-dir/$jobname/挂载到名为fold00...fold99的作业的/fah文件夹是基本思路。

在运行任何客户端之前，确保将自定义的config.xml复制到所有子文件夹。

其他方法只要满足上述要求也同样有效。

集群启动折叠计算

根据存储设置，每个子文件夹运行一个容器，将其挂载到/fah。

集群监控日志

容器编排工具应提供与docker logs ...和docker exec ...等效的命令以执行相同功能。

bash
# 查看所有客户端返回的工作单元数量
grep points .../root-dir/*/log.txt .../root-dir/*/logs/*.txt

集群停止容器

集群上停止容器的方式会影响工作单元的延迟或丢失数量。

bash
# 推荐的关闭方式
command exec container-id FAHClient --send-command finish

# 检查点后停止容器，通常不超过30秒。
command exec container-id FAHClient --send-command shutdown
# 也可以直接终止容器，但不推荐

目标是避免累积大量包含未完成工作单元的子目录。

在集群上以低优先级运行Folding@home容器，使其可以被抢占和恢复，这是可行的。max-units配置选项结合低优先级，在无法抢占的情况下可用于利用空闲资源。

示例配置文件

在容器中运行客户端时使用的配置选项与独立安装略有不同。以下是关键选项：

• user、passkey、team - 用户和团队信息。设置为您自己的值。
• exit-when-done - 发送完成命令后让容器退出。
• power - 100%时间运行但优先级为空闲。
• web-enable、disable-viz、gui-enabled - 禁用不必要的功能。
• slots ... - SMP和GPU插槽。每个GPU插槽也占用1个CPU核心。每个SMP插槽可设置为使用N个核心。在1 CPU低核心数机器上可省略"cpus"标签，客户端将自动配置。

所有选项的客户端帮助可通过以下命令获取：

bash
docker run --rm fah-gpu:VERSION --help

1-GPU、1-CPU、16线程示例配置

xml
<config>
  <!-- 设置您的用户、passkey、团队-->
  <user value="Anonymous"/>
  <passkey value=""/>
  <team value="0"/>

  <power value="full"/>
  <exit-when-done v='true'/>

  <web-enable v='false'/>
  <disable-viz v='true'/>
  <gui-enabled v='false'/>

  <!-- 1个GPU插槽 -->
  <slot id='0' type='GPU'> </slot>

  <!-- 16-1 = 15 = 3*5用于分解 -->
  <slot id='1' type='SMP'> <cpus v='15'/> </slot>

</config>

8-GPU、2-CPU、80线程示例配置

xml
<config>
  <!-- 设置您的用户、passkey、团队-->
  <user value="Anonymous"/>
  <passkey value=""/>
  <team value="0"/>

  <power value="full"/>
  <exit-when-done v='true'/>

  <web-enable v='false'/>
  <disable-viz v='true'/>
  <gui-enabled v='false'/>

  <!-- 8个GPU插槽 -->
  <slot id='0' type='GPU'> </slot>
  <slot id='1' type='GPU'> </slot>
  <slot id='2' type='GPU'> </slot>
  <slot id='3' type='GPU'> </slot>
  <slot id='4' type='GPU'> </slot>
  <slot id='5' type='GPU'> </slot>
  <slot id='6' type='GPU'> </slot>
  <slot id='7' type='GPU'> </slot>

  <!-- 80-8=72/4=18=2*3*3，以支持NUMA域和分解 -->
  <slot id='8' type='SMP'> <cpus v='18'/> </slot>
  <slot id='9' type='SMP'> <cpus v='18'/> </slot>
  <slot id='10' type='SMP'> <cpus v='18'/> </slot>
  <slot id='11' type='SMP'> <cpus v='18'/> </slot>

</config>

其他运行时

虽然本文档以Docker为重点，但它并非唯一的容器运行时。

Singularity

完整的Singularity使用指南超出本文档范围。以下命令可帮助熟悉Singularity的用户在单机器上开始使用：

bash
mkdir fah && cd fah
# 创建/复制config.xml
singularity build fah.sif docker://CONTAINER-PATH/fah-gpu:VERSION
singularity instance start --nv -B$(pwd):/fah fah.sif fah_instance
singularity exec instance://fah_instance /bin/bash -c "coproc /usr/bin/FAHClient"
tail -f log.txt