breuner/elbencho

elbencho

elbencho 是一款支持GPU的分布式文件、对象及块存储基准测试工具。详细说明请参见GitHub上的 README 和更新日志：https://github.com/breuner/elbencho

使用示例

默认Dockerfile将elbencho可执行文件路径定义为入口点，因此无需指定二进制文件的名称或路径，可直接在docker run命令中提供elbencho参数。

Hello World

如需确认容器获取是否正常，可显示elbencho的内置帮助信息：

bash
docker run -it breuner/elbencho --help

简单基准测试

使用Docker的-v HOST_PATH:CONTAINER_PATH选项将测试目录挂载到容器内。例如，若基准测试文件需位于/data目录，并创建单个10GiB文件：

bash
docker run -v /data:/data -it breuner/elbencho /data/mytestfile -s 10G -w

分布式模式

如需使用elbencho的分布式模式进行多节点协同吞吐量测试，最简单的方法是使用Docker的--net=host选项，使容器内的elbencho服务通过主机IP暴露。同时，需防止服务进入后台（否则Docker会认为容器可停止），可通过--foreground参数前台运行，并使用-d参数让容器在后台 detach 运行。

在所有参与分布式存储基准测试的节点上执行以下命令：

bash
docker run -v /data:/data --net=host -dt breuner/elbencho --service --foreground

服务实例启动后，使用--net=host选项运行主控实例即可控制服务。例如，从所有服务实例写入单个10GiB共享文件：

bash
docker run --net=host -it breuner/elbencho /data/mytestfile -s 10G -w --hosts HOST1,HOST2,...

分布式测试完成后，使用--quit选项终止服务实例：

bash
docker run --net=host -it breuner/elbencho --quit --hosts HOST1,HOST2,...

GPU 及 GPUDirect Storage (GDS)

如需测试通过Nvidia CUDA或GPUDirect Storage (GDS/cuFile)实现的GPU存储访问性能，需使用安装了CUDA的多架构Ubuntu容器（标签为"master-ubuntu-cuda-multiarch"）。

示例：通过GDS写入并读取128个大文件，使用256线程及主机所有GPU：

bash
nvidia-docker run --privileged -v /data:/data -it breuner/elbencho:master-ubuntu-cuda-multiarch "/data/mylargefile[1..128]" -w -r -t 256 -s 12g -b 4m --direct --gpuids all --gds

若未安装nvidia-docker，可使用docker run --gpus all ...替代。

Docker 镜像版本

默认镜像（标签"latest"）基于Ubuntu 24.04。

基于Ubuntu和CentOS的镜像包含完整的.deb/.rpm包安装。如需使用其中包含的工具（如elbencho-scan-path），可指定工具名称作为入口点：

bash
docker run -it --entrypoint elbencho-scan-path breuner/elbencho:master-ubuntu2404 --help

基于Alpine Linux的镜像体积最小，仅包含elbencho主可执行文件，不含其他工具。

S3 支持

自elbencho v2.0起，稳定版本标签的镜像包含S3支持。此外，基于主分支的以下标签也支持S3：

• latest
• master-alpine
• master-centos7, master-centos8, master-rocky9
• master-sles15
• master-ubuntu2004, master-ubuntu2204, master-ubuntu2404
• master-ubuntu-cuda-multiarch

本地镜像构建

如需从本地git克隆构建Docker镜像（如修改源码或构建特定历史版本），可使用build_helpers/docker目录下带.local扩展名的Dockerfile。例如，构建基于Ubuntu 24.04的本地镜像：

bash
docker build -t elbencho-local -f build_helpers/docker/Dockerfile.ubuntu2404.local .

ARM64 及多平台支持

标签"latest"和"master-ubuntu-cuda-multiarch"支持amd64（x86_64）和arm64/v8（aarch64）平台，如Nvidia Grace CPU。