cicro/benchmark-clang-4

C基准测试套件

这是一个针对C语言编译器、优化器和运行时环境的基准测试套件，旨在通用地测量变更对运行时性能的影响，避免依赖少数单一基准测试。与其他套件相比，它采用大量“真实世界”代码样本以了解整体运行时影响。

安装

只需下载仓库并启动基准测试即可，系统会自动编译所有代码并在指定运行时环境中执行。

依赖

我们尽量减少依赖，PAPI（http://icl.utk.edu/papi/）是唯一非默认安装的依赖（可选，用于读取硬件计数器）。共享库依赖包括：

• -lm
• -lpthread
• -lpapi（可选）

核心功能

1. 支持多种C编译环境（如gcc、clang、tcc等）的性能基准测试
2. 可选测量硬件计数器（需PAPI支持）
3. 提供结果分析工具（stats.py）和可视化工具（plot.R）
4. 通过过滤条件灵活选择运行时环境和测试用例

使用场景

1. 评估不同C编译器及优化选项的性能差异
2. 测量代码变更对运行时性能的影响
3. 分析程序运行时的硬件资源使用情况
4. 验证编译环境优化的有效性

配置说明

• 运行基准测试前需最小化系统干扰：禁用非必要网络和应用，设置正确的CPU scaling governor
• 硬件计数器需先通过papi_avail查看可用项，通过papi_command_line验证是否可组合

使用方法

运行基准测试

bench.py管理编译、运行和结果写入的全流程，配置文件位于./configs目录。
示例1：用gcc-O3运行并保存结果到my_results.json

./tools/bench.py my_results.json --filter-runtime=gcc-O3

示例2：运行所有clang环境，测试名称以a开头的用例，并测量硬件计数器

./tools/bench.py example_results.json --filter-harness="^a.*" --filter-runtime="clang-.*" --exec-args="--papi=PAPI_LD_INS,PAPI_SR_INS,PAPI_BR_INS,PAPI_TOT_INS"

分析结果

./tools/stats.py my_results.json

输出基础统计信息，帮助发现缺失测试。

可视化结果

./tools/plot.R --benchfile=example_results.json --base-runtime=clang-O0

生成箱线图、矩阵图、条形图等可视化内容，需至少两次运行结果作为基线。

Docker部署示例

单容器运行

bash
docker run -v $(pwd)/bench_results:/results docker.xuanyuan.run/cicro/benchmark-clang-4 \
  ./tools/bench.py /results/my_results.json --filter-runtime=clang-4-O3

Docker Compose配置

yaml
version: '3'
services:
  benchmark:
    image: cicro/benchmark-clang-4
    volumes:
      - ./bench_results:/results
    command: ["./tools/bench.py", "/results/my_results.json", "--filter-runtime=clang-4-O3"]