rocm/tensorflow-autobuilds

TensorFlow 构建

本目录包含运行所有重要构建和测试所需的所有文件及设置说明，您可以自行运行这些构建和测试。

自行运行

在本地机器上运行TensorFlow测试有两种方式：一是使用Docker在TensorFlow开发镜像上运行持续集成（CI）脚本；二是在本地机器上安装所有TensorFlow依赖项，原生运行脚本。

使用Docker运行TensorFlow CI脚本

1. 按照Docker官网安装说明安装Docker。
2. 使用TensorFlow开发镜像启动容器，镜像列表见：https://hub.docker.com/r/tensorflow/tensorflow/tags/%E3%80%82
3. 根据所选镜像，从TensorFlow仓库根目录运行https://github.com/tensorflow/tensorflow/tree/master/tensorflow/tools/ci_build/linux%E4%B8%8B%E7%9A%84%E5%AF%B9%E5%BA%94%E8%84%9A%E6%9C%AC%E3%80%82

在本地机器上原生运行TensorFlow CI脚本

1. 按照[***]"配置安装"部分停止，运行CI脚本无需配置安装。
2. 根据已安装的操作系统和Python版本，运行tensorflow/tools/ci_build/<操作系统>目录下的对应脚本。

TensorFlow持续集成

为验证新更改不会破坏TensorFlow，我们在Jenkins或Google内部CI系统上运行构建和测试。

可在主分支更新或拉取请求时触发构建和测试。联系仓库维护者可为您的拉取请求触发构建。

查看CI结果

拉取请求会显示更改是否通过检查。

从拉取请求中，点击显示所有检查查看构建和测试列表，点击详情查看Jenkins或内部CI系统的结果。

• Jenkins结果在Jenkins UI中显示，详见Jenkins文档。
• 内部CI系统结果在构建状态UI中显示，查看失败构建日志的方法：
  • 点击INVOCATION LOG选项卡查看调用日志。
  • 点击ARTIFACTS选项卡查看包含日志的所有工件列表。
  • 单个测试日志：从TARGETS选项卡点击失败目标，再点击TARGET LOG选项卡查看。
  若目标是分片的或测试不稳定，构建工具会将目标分为多个分片或多次运行测试。查看特定日志：
  1. 点击分片、运行和尝试编号右侧的日志图标。
  2. 在右侧网格中选择特定分片、运行和尝试，或在上方字段输入编号。

第三方TensorFlow CI

Mellanox TensorFlow CI

如何启动CI

• 提交拉取请求评论触发CI：bot:mlx:test
• 测试会话自动运行。
• 测试结果和工件（日志文件）通过拉取请求评论报告。

CI步骤

1. 构建TensorFlow（GPU版本）。
2. 运行TensorFlow测试：
   • https://github.com/tensorflow/benchmarks/blob/master/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py%EF%BC%88TensorFlow 1.13及更低版本）。
   • https://github.com/tensorflow/models/tree/master/official/r1/resnet%EF%BC%88TensorFlow 2.0）：ResNet、合成数据、NCCL、multi_worker_mirrored分布式策略。

测试环境

在Mellanox实验室的2节点集群上运行，参数如下：

• 硬件
  • IB：1x ConnectX-6 HCA（连接到Mellanox Quantum™ HDR交换机）
  • GPU：1x Nvidia Tesla K40m
• 软件
  • Ubuntu 16.04.6
  • 内部稳定版本的MLNX_OFED、HPC-X™和SHARP™。

支持（Mellanox）

如有问题、建议或遇到问题，请联系Artem Ryabov。