openvino/openvino_tensorflow_ubuntu18_runtime

最新标签

• 2.2.0, latest

关于OpenVINO™与TensorFlow集成

OpenVINO™与TensorFlow集成专为希望在推理应用中使用OpenVINO™的TensorFlow开发者设计。TensorFlow开发者现在只需添加两行代码，即可在各种Intel®计算设备上的TensorFlow推理应用中利用OpenVINO™工具包优化。

python
import openvino_tensorflow
openvino_tensorflow.set_backend('<backend_name>')

该产品提供OpenVINO™内联优化，通过最少的代码修改提升推理性能。OpenVINO™与TensorFlow集成可在多种Intel®硅片上加速众多AI模型的推理，例如：

• Intel® CPU
• Intel®集成GPU
• Intel® Movidius™视觉处理单元（简称VPU）
• 带8个Intel Movidius™ MyriadX VPU的Intel®视觉加速器设计（简称VAD-M或HDDL）

[注：为获得最佳性能、效率、工具定制和硬件控制，建议开发者采用原生OpenVINO™ API及其运行时。]

GitHub：https://github.com/openvinotoolkit/openvino_tensorflow/

文档：https://github.com/openvinotoolkit/openvino_tensorflow/tree/master/docs

构建此镜像的Dockerfile位于：https://github.com/openvinotoolkit/openvino_tensorflow/tree/master/docker

Ubuntu* 18.04 LTS的OpenVINO™与TensorFlow集成运行时Docker镜像

标签为2.2.0的此镜像包含所有必要的运行时Python包和共享库，支持在CPU、GPU、VPU和VAD-M上执行带OpenVINO™后端的TensorFlow Python应用。默认情况下，它运行Jupyter服务器，包含图像分类和目标检测示例，展示使用OpenVINO™与TensorFlow集成的性能优势。

启动Jupyter服务器

CPU访问

bash
docker run -it --rm \
           -p 8888:8888 \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

iGPU访问

bash
docker run -it --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --device /dev/dri:/dev/dri \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

MYRIAD访问

bash
docker run -it --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

VAD-M访问

bash
docker run -itu root:root --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --mount type=bind,source=/var/tmp,destination=/var/tmp \
           --device /dev/ion:/dev/ion \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

进入容器shell

使用以下命令运行镜像并进入带CPU、iGPU和MYRIAD设备访问权限的容器shell：

bash
docker run -itu root:root --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --device /dev/dri:/dev/dri \
           --mount type=bind,source=/var/tmp,destination=/var/tmp \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0 /bin/bash

在Windows* OS上运行镜像

该镜像也可在Windows* OS上运行，支持OpenVINO™后端的CPU和iGPU。

CPU访问

bash
docker run -it --rm \
           -p 8888:8888 \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

iGPU访问

前提条件：

• Windows* 10 21H2或Windows* 11，且安装WSL-2
• Intel iGPU驱动 >= 30.0.100.9684

bash
docker run -it --rm \
           -p 8888:8888 \
           --device /dev/dxg:/dev/dxg \
           --volume /usr/lib/wsl:/usr/lib/wsl \
           openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0

Ubuntu* 18.04 LTS的OpenVINO™与TensorFlow集成TF-Serving运行时Docker镜像

标签为2.2.0-serving的此镜像提供与TensorFlow模型的开箱即用集成，便于部署新算法和实验。该镜像中的tensorflow_model_server可执行文件基于OpenVINO™构建，在Intel后端（包括CPU、GPU、VPU和VAD-M）上提供性能优势。

以下示例使用此镜像部署Resnet50模型，并通过客户端脚本使用REST API执行推理。

步骤

1. 从TF Hub下载Resnet50模型，并将内容解压缩到文件夹resnet_v2_50_classifiation/5

2. 启动Resnet50模型的服务容器：

   CPU后端

   bash
   docker run -it --rm \
              -p 8501:8501 \
              -v <resnet_v2_50_classifiation路径>:/models/resnet \
              -e MODEL_NAME=resnet \
              openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0-serving
   

   iGPU后端

   bash
   docker run -it --rm \
              -p 8501:8501 \
              --device-cgroup-rule='c 189:* rmw' \
              --device /dev/dri:/dev/dri \
              -v <resnet_v2_50_classifiation路径>:/models/resnet \
              -e MODEL_NAME=resnet \
              -e OPENVINO_TF_BACKEND=GPU \
              openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0-serving
   

   MYRIAD后端

   bash
   docker run -it --rm \
              -p 8501:8501 \
              --device-cgroup-rule='c 189:* rmw' \
              -v /dev/bus/usb:/dev/bus/usb \
              -v <resnet_v2_50_classifiation路径>:/models/resnet \
              -e MODEL_NAME=resnet \
              -e OPENVINO_TF_BACKEND=MYRIAD \
              openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0-serving
   

   VAD-M后端

   bash
   docker run -itu root:root --rm \
              -p 8501:8501 \
              --device-cgroup-rule='c 189:* rmw' \
              -v /dev/bus/usb:/dev/bus/usb \
              --mount type=bind,source=/var/tmp,destination=/var/tmp \
              --device /dev/ion:/dev/ion \
              -v <resnet_v2_50_classifiation路径>:/models/resnet \
              -e MODEL_NAME=resnet \
              -e OPENVINO_TF_BACKEND=VAD-M \
              openvino/openvino_tensorflow_ubuntu18_runtime:2.2.0-serving
   

3. 运行脚本发送推理请求并获取预测结果：

   bash
   wget https://raw.githubusercontent.com/tensorflow/serving/master/tensorflow_serving/example/resnet_client.py
   python resnet_client.py
   

环境变量

运行容器时，适用于OpenVINO™与TensorFlow集成执行的所有环境变量同样适用。例如，要在启动TensorFlow Serving容器时禁用OpenVINO™与TensorFlow集成，只需在docker run命令中添加环境变量OPENVINO_TF_DISABLE=1。更多环境变量详见https://github.com/openvinotoolkit/openvino_tensorflow/blob/master/docs/USAGE.md%E3%80%82

bash
docker run -it --rm \
           -p 8501:8501 \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           -e OPENVINO_TF_DISABLE=1 \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

许可证

版权所有 © 2022 Intel Corporation

OpenVINO™与TensorFlow集成的这些镜像根据https://github.com/openvinotoolkit/openvino_tensorflow/blob/master/LICENSE%E8%AE%B8%E5%8F%AF%E3%80%82

组件：

• https://hub.docker.com/r/openvino/ubuntu18_runtime
• TensorFlow

* 其他名称和品牌可能是其各自所有者的财产。