ghcr.io/saymololy/nccl-tests:latest

NCCL 测试

这些测试用于检查NCCL操作的性能和正确性。

构建

要构建测试，只需输入make。

make

如果CUDA未安装在/usr/local/cuda，您可以指定CUDA_HOME。同样，如果NCCL未安装在/usr，您可以指定NCCL_HOME。

$ make CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl

NCCL测试依赖MPI来处理多进程，从而支持多节点。如果要编译支持MPI的测试，需要设置MPI=1并将MPI_HOME设置为MPI的安装路径。

$ make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl

使用方法

NCCL测试可以在多进程、多线程以及每个线程多个CUDA设备上运行。进程数由MPI管理，因此不作为参数传递给测试。总rank数（=CUDA设备数）等于（进程数）×（线程数）×（每个线程的GPU数）。

快速示例

在具有8个GPU的单节点上运行（-g 8），扫描从8字节到128MB：

$ ./build/all_reduce_perf -b 8 -e 128M -f 2 -g 8

在每个节点具有8个GPU的节点上运行64个MPI进程，总共64个GPU分布在8个节点上：（注意：此情况下，nccl-tests二进制文件必须使用MPI=1编译）

$ mpirun -np 64 -N 8 ./build/all_reduce_perf -b 8 -e 8G -f 2 -g 1

性能

有关数值的解释，特别是“busbw”列，请参见性能页面。

参数

所有测试支持以下相同的参数集：

GPU数量

• -t,--nthreads：每个进程的线程数。默认值：1。
• -g,--ngpus：每个线程的GPU数。默认值：1。

扫描大小

• -b,--minbytes：起始最小大小。默认值：32M。
• -e,--maxbytes：结束最大大小。默认值：32M。
• 增量可以是固定值或乘法因子。只能使用其中一种：
  • -i,--stepbytes：大小之间的固定增量。默认值：1M。
  • -f,--stepfactor：大小之间的乘法因子。默认值：禁用。

NCCL操作参数

• -o,--op：指定要执行的归约操作。仅与Allreduce、Reduce或ReduceScatter等归约操作相关。默认值：Sum。
• -d,--datatype：指定要使用的数据类型。默认值：Float。
• -r,--root：指定要使用的根节点。仅用于Broadcast或Reduce等有根节点的操作。默认值：0。

性能

• -n,--iters：迭代次数。默认值：20。
• -w,--warmup_iters：热身迭代次数（不计时）。默认值：5。
• -m,--agg_iters：每次迭代中聚合的操作数。默认值：1。
• -N,--run_cycles：运行并打印每个周期。默认值：1；0=无限。
• -a,--average：报告所有rank的平均性能（仅MPI=1时有效）。默认值：1。

测试操作

• -p,--parallel_init：使用线程并行初始化NCCL。默认值：0。
• -c,--check：执行计数迭代，在每次迭代中检查结果的正确性。在大量GPU上可能会很慢。默认值：1。
• -z,--blocking：使NCCL集合操作阻塞，即CPU在每个集合操作后等待并同步。默认值：0。
• -G,--cudagraph：将迭代捕获为CUDA图，然后重放指定次数。默认值：0。
• -C,--report_cputime：报告CPU时间而非延迟。默认值：0。
• -R,--local_register：启用发送/接收缓冲区的本地缓冲区注册。默认值：0。
• -T,--timeout：指定秒数后超时每个测试。默认值：禁用。

版权信息