caijimin/resnet50-tensorflow-amx

镜像概述

本Docker镜像包含带有Intel®优化的TensorFlow*和ResNet-50推理功能，预安装了AMX（Advanced Matrix Extensions），专为在第4代Intel® Xeon®可扩展处理器上高效运行ResNet-50模型推理任务设计。

核心功能和特性

• Intel®优化：针对TensorFlow框架进行了Intel®优化，提升推理性能
• AMX支持：预安装AMX技术，优化矩阵运算效率
• 多精度推理：支持fp32、bfloat16和int8三种精度的ResNet-50推理
• 自动基准测试：内置自动运行脚本，可快速获取性能数据
• 灵活部署：支持自动运行和交互式bash两种启动方式

使用场景和适用范围

适用于在第4代Intel® Xeon®可扩展处理器上进行ResNet-50模型的推理性能测试、评估和优化，尤其适合需要高效矩阵运算能力的深度学习推理场景。

使用方法和配置说明

启动容器

1. 自动运行基准测试脚本

通过以下命令启动容器，将自动运行基准测试并输出性能数据：

bash
$ docker run -it -v /local_dir:/mount_folder caijimin/resnet50-tensorflow-amx

• /local_dir：本地目录，用于挂载存储性能数据
• /mount_folder：容器内挂载点，性能数据将写入此目录下的performance.txt文件

2. 以bash为入口点启动

通过以下命令启动容器并进入交互式bash环境：

bash
$ docker run -it -v /local_dir:/mount_folder caijimin/resnet50-tensorflow-amx bash

运行测试脚本

在交互式bash环境中，执行以下步骤运行测试：

1. 进入脚本目录：

   bash
   cd /home/user/scripts
   

2. 执行测试脚本：

   bash
   ./run_test.sh
   

该脚本将分别使用fp32、bfloat16和int8三种精度运行ResNet-50推理。

性能数据输出

性能数据将写入挂载目录下的performance.txt文件，内容示例如下：

ResNet50 inference using TensorFlow
STEPS=300

Inference throughput : precision=fp32
Throughput summary:1359.68

Inference throughput : precision=bfloat16
Throughput summary:6897.82

Inference throughput : precision=int8
Throughput summary:13317.5

软件配置参数