cicro/benchmark-clang-6

C基准测试套件

这是一个针对C语言编译器、优化器和运行时环境的基准测试套件，可衡量代码变化对运行性能的整体影响，避免依赖少数单一基准测试。与其他套件相比，本工具采用大量“真实世界”代码样本，以获取通用的运行时性能影响。

镜像概述

该镜像包含完整的C基准测试环境，支持对不同编译器（如clang、gcc）和优化级别进行性能评估，可收集运行时间及可选硬件计数器数据，并提供结果分析与可视化工具。

核心功能

1. 基准测试执行：构建并运行测试套件，支持过滤特定运行时环境和测试用例。
2. 性能数据收集：记录运行时间，可选收集硬件计数器数据（如指令数、周期数等）。
3. 结果分析：生成基础统计信息，帮助发现缺失测试或异常数据。
4. 可视化：通过R脚本生成箱线图、矩阵图等，直观展示性能差异。

使用场景

• 对比不同C编译器（如clang、gcc）的优化效果。
• 评估运行时环境对代码性能的影响。
• 分析硬件计数器数据以优化代码性能。
• 验证编译器更新或优化策略的有效性。

配置说明

依赖

• 可选依赖：http://icl.utk.edu/papi/（用于硬件计数器数据收集）。
• 共享库：-lm、-lpthread、-lpapi（可选）。

Docker部署示例

1. 拉取镜像：

bash
docker pull docker.xuanyuan.run/cicro/benchmark-clang-6

2. 运行容器：

bash
docker run -it --rm docker.xuanyuan.run/cicro/benchmark-clang-6 /bin/bash

3. 容器内执行测试（示例）：

bash
# 运行clang-O3优化测试，结果保存到my_results.json
./tools/bench.py my_results.json --filter-runtime=clang-O3
# 分析结果
./tools/stats.py my_results.json
# 生成可视化图表（需至少两次运行结果）
./tools/plot.R --benchfile=example_results.json --base-runtime=clang-O0

硬件计数器注意事项

• 查看可用计数器：papi_avail。
• 检查计数器兼容性：papi_command_line [计数器列表]。
• 启用计数器需传递参数：./tools/bench.py ... --exec-args="--papi=PAPI_LD_INS,PAPI_SR_INS"。