cicro/benchmark-gcc-6

C语言基准测试套件

这是一个针对C语言编译器、优化器及运行时环境的基准测试套件，用于测量代码变更对运行时性能的影响，避免依赖单一基准测试。其核心特点是使用大量“真实世界”代码样本，以全面评估性能影响。

核心功能

• 支持多种编译器（如gcc、clang、tcc等）的性能对比
• 可测量硬件计数器（如指令数、周期数等，需PAPI依赖）
• 提供结果分析工具（统计、可视化）
• 支持自定义运行时环境配置

使用场景

• 编译器优化效果评估
• 不同运行时环境的性能对比
• 代码性能瓶颈分析
• 硬件层面性能指标（如指令周期比）测量

配置说明

依赖

• 基础依赖：Linux发行版默认安装的库（-lm、-lpthread）
• 可选依赖：PAPI（用于硬件计数器测量，需单独安装）

Docker部署示例

拉取镜像

bash
docker pull docker.xuanyuan.run/cicro/benchmark-gcc-6

运行基准测试（结果保存到本地results目录）

bash
mkdir -p results
docker run -it --rm \
  -v $(pwd)/results:/app/results \
  docker.xuanyuan.run/cicro/benchmark-gcc-6 \
  ./tools/bench.py results/my_results.json --filter-runtime=gcc-O3

分析结果

bash
docker run -it --rm \
  -v $(pwd)/results:/app/results \
  docker.xuanyuan.run/cicro/benchmark-gcc-6 \
  ./tools/stats.py results/my_results.json

可视化结果（需至少两次运行数据）

bash
docker run -it --rm \
  -v $(pwd)/results:/app/results \
  docker.xuanyuan.run/cicro/benchmark-gcc-6 \
  ./tools/plot.R --benchfile=results/example_results.json --base-runtime=clang-O0

使用指南

运行基准测试

通过./tools/bench.py脚本管理构建、运行和结果写入：

• 示例1：运行gcc-O3并保存结果
  ./tools/bench.py my_results.json --filter-runtime=gcc-O3
• 示例2：过滤测试用例和运行时，启用硬件计数器
  ./tools/bench.py example_results.json --filter-harness="^a.*" --filter-runtime="clang-.*" --exec-args="--papi=PAPI_LD_INS,PAPI_SR_INS,PAPI_BR_INS"

分析结果

使用./tools/stats.py查看基本统计信息：
./tools/stats.py my_results.json

可视化结果

使用R脚本生成图表（需基线数据，至少两次运行）：
./tools/plot.R --benchfile=example_results.json --base-runtime=clang-O0

硬件计数器说明

• 查看可用计数器：papi_avail
• 验证计数器组合：papi_command_line PAPI_LD_INS PAPI_SR_INS
• 启用计数器：运行测试时添加--papi=计数器列表参数，结果仅在JSON输出中可见。