cicro/benchmark-clang-7

C基准测试套件

这是一个针对C编译器、优化器和运行时环境的基准测试套件，用于衡量变更对运行时性能的整体影响，避免依赖单一基准测试。相比其他套件，它使用大量“真实世界”代码样本以了解普遍的运行时影响。

核心功能

• 支持多种C编译器（如gcc、clang、tcc等）的性能对比
• 可选集成PAPI硬件计数器，获取指令数、周期数等底层性能数据
• 提供结果分析工具（统计、可视化）
• 支持通过配置文件定义运行时环境

使用场景

• 编译器优化效果评估
• 运行时环境性能对比
• 硬件计数器分析以优化代码
• 多编译器配置下的性能基准测试

配置说明

依赖项

• PAPI（可选，用于硬件计数器）
• 常用Linux发行版默认安装的库：-lm、-lpthread

Docker部署示例

bash
# 拉取镜像
docker pull docker.xuanyuan.run/cicro/benchmark-clang-7
# 运行容器并进入交互模式
docker run -it --rm docker.xuanyuan.run/cicro/benchmark-clang-7 /bin/bash

工具使用

1. 运行基准测试
   使用./tools/bench.py管理构建、运行和结果输出：

   bash
   # 示例：运行clang-O3并输出结果到my_results.json
   ./tools/bench.py my_results.json --filter-runtime=clang-O3
   # 示例：过滤名称以a开头的测试，运行所有clang环境并启用硬件计数器
   ./tools/bench.py example_results.json --filter-harness="^a.*" --filter-runtime="clang-.*" --exec-args="--papi=PAPI_LD_INS,PAPI_SR_INS,PAPI_BR_INS,PAPI_TOT_INS"
   

2. 分析结果
   使用./tools/stats.py查看基本统计信息：

   bash
   ./tools/stats.py my_results.json
   

3. 可视化结果
   使用./tools/plot.R生成图表（需至少两次运行结果作为基线）：

   bash
   ./tools/plot.R --benchfile=example_results.json --base-runtime=clang-O0
   

硬件计数器注意事项

• 查看可用计数器：papi_avail
• 检查计数器组合兼容性：papi_command_line PAPI_LD_INS PAPI_SR_INS
• 启用计数器需传递参数给测试用例：./my_benchmark_test --output=json --papi=PAPI_LD_INS,...