openvino/openvino_tensorflow_ubuntu20_runtime

最新标签

• 2.2.0, latest

关于OpenVINO™与TensorFlow集成

OpenVINO™与TensorFlow集成专为希望在推理应用中使用https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit.html%E7%9A%84TensorFlow*%E5%BC%80%E5%8F%91%E8%80%85%E8%AE%BE%E8%AE%A1%E3%80%82TensorFlow*%E5%BC%80%E5%8F%91%E8%80%85%E7%8E%B0%E5%9C%A8%E5%8F%AA%E9%9C%80%E6%B7%BB%E5%8A%A0%E4%B8%A4%E8%A1%8C%E4%BB%A3%E7%A0%81%EF%BC%8C%E5%8D%B3%E5%8F%AF%E5%9C%A8%E5%A4%9A%E7%A7%8DIntel%C2%AE%E8%AE%A1%E7%AE%97%E8%AE%BE%E5%A4%87%E4%B8%8A%E7%9A%84TensorFlow%E6%8E%A8%E7%90%86%E5%BA%94%E7%94%A8%E4%B8%AD%E5%88%A9%E7%94%A8https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit.html%E5%B7%A5%E5%85%B7%E5%8C%85%E4%BC%98%E5%8C%96%E3%80%82

python
import openvino_tensorflow
openvino_tensorflow.set_backend('<backend_name>')

本产品提供https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit.html%E5%86%85%E8%81%94%E4%BC%98%E5%8C%96%EF%BC%8C%E9%80%9A%E8%BF%87%E6%9C%80%E5%B0%91%E7%9A%84%E4%BB%A3%E7%A0%81%E4%BF%AE%E6%94%B9%E6%8F%90%E5%8D%87%E6%8E%A8%E7%90%86%E6%80%A7%E8%83%BD%E3%80%82**OpenVINO%E2%84%A2%E4%B8%8ETensorFlow%E9%9B%86%E6%88%90%E5%8F%AF%E5%8A%A0%E9%80%9F**%E5%A4%9A%E7%A7%8DAI%E6%A8%A1%E5%9E%8B%E5%9C%A8%E5%90%84%E7%B1%BBIntel%C2%AE%E8%8A%AF%E7%89%87%E4%B8%8A%E7%9A%84%E6%8E%A8%E7%90%86%EF%BC%8C%E5%A6%82%EF%BC%9A

• Intel® CPU
• Intel®集成GPU
• Intel® Movidius™视觉处理单元（简称VPU）
• 搭载8个Intel Movidius™ MyriadX VPU的Intel®视觉加速器设计（简称VAD-M或HDDL）

[注：为获得最佳性能、效率、工具定制化和硬件控制，建议开发者采用原生OpenVINO™ API及其运行时。]

GitHub：https://github.com/openvinotoolkit/openvino_tensorflow/

文档：https://github.com/openvinotoolkit/openvino_tensorflow/tree/master/docs

构建此镜像的Dockerfile可在以下位置找到：https://github.com/openvinotoolkit/openvino_tensorflow/tree/master/docker

OpenVINO™与TensorFlow集成运行时Docker镜像（适用于Ubuntu* 20.04 LTS）

标签为2.2.0的此镜像包含所有必要的运行时Python包和共享库，支持在CPU、GPU、VPU和VAD-M上执行带OpenVINO™后端的TensorFlow Python应用。默认情况下，它运行Jupyter服务器，包含图像分类和目标检测示例，展示使用OpenVINO™与TensorFlow集成的性能优势。

启动Jupyter服务器（CPU访问）

bash
docker run -it --rm \
           -p 8888:8888 \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

启动Jupyter服务器（iGPU访问）

bash
docker run -it --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --device /dev/dri:/dev/dri \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

启动Jupyter服务器（MYRIAD访问）

bash
docker run -it --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

启动Jupyter服务器（VAD-M访问）

bash
docker run -itu root:root --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --mount type=bind,source=/var/tmp,destination=/var/tmp \
           --device /dev/ion:/dev/ion \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

以运行时目标/bin/bash启动镜像（支持CPU、iGPU和MYRIAD设备访问的容器shell）

bash
docker run -itu root:root --rm \
           -p 8888:8888 \
           --device-cgroup-rule='c 189:* rmw' \
           --device /dev/dri:/dev/dri \
           --mount type=bind,source=/var/tmp,destination=/var/tmp \
           -v /dev/bus/usb:/dev/bus/usb \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0 /bin/bash

在Windows*操作系统上运行镜像

该镜像也可在Windows*操作系统上运行，支持OpenVINO™后端的CPU和iGPU。

启动Jupyter服务器（CPU访问）

bash
docker run -it --rm \
           -p 8888:8888 \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

启动Jupyter服务器（iGPU访问）

前提条件：

• Windows* 10 21H2或Windows* 11，已安装WSL-2
• https://www.intel.com/content/www/us/en/download/***/intel-graphics-windows-dch-drivers.html%E7%89%88%E6%9C%AC%E2%89%A530.0.100.9684

bash
docker run -it --rm \
           -p 8888:8888 \
           --device /dev/dxg:/dev/dxg \
           --volume /usr/lib/wsl:/usr/lib/wsl \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0

OpenVINO™与TensorFlow集成运行时Docker镜像（适用于TF-Serving，Ubuntu* 20.04 LTS）

标签为2.2.0-serving的此镜像提供与TensorFlow模型的开箱即用集成，便于部署新算法和实验。该镜像中的tensorflow_model_server可执行文件基于OpenVINO™构建，在Intel后端（包括CPU、GPU、VPU和VAD-M）上提供性能优势。

以下示例展示使用此镜像部署Resnet50模型，并通过客户端脚本利用REST API进行推理。

步骤1：下载模型

从TF Hub下载https://storage.googleapis.com/tfhub-modules/google/imagenet/resnet_v2_50/classification/5.tar.gz%EF%BC%8C%E5%B9%B6%E5%B0%86%E5%85%B6%E5%86%85%E5%AE%B9%E8%A7%A3%E5%8E%8B%E5%88%B0%E6%96%87%E4%BB%B6%E5%A4%B9%60resnet_v2_50_classifiation/5%60%E3%80%82

步骤2：启动Resnet50模型服务容器

在CPU后端运行

bash
docker run -it --rm \
           -p 8501:8501 \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

在iGPU上运行

bash
docker run -it --rm \
           -p 8501:8501 \
           --device-cgroup-rule='c 189:* rmw' \
           --device /dev/dri:/dev/dri \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           -e OPENVINO_TF_BACKEND=GPU \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

在MYRIAD上运行

bash
docker run -it --rm \
           -p 8501:8501 \
           --device-cgroup-rule='c 189:* rmw' \
           -v /dev/bus/usb:/dev/bus/usb \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           -e OPENVINO_TF_BACKEND=MYRIAD \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

在VAD-M上运行

bash
docker run -itu root:root --rm \
           -p 8501:8501 \
           --device-cgroup-rule='c 189:* rmw' \
           -v /dev/bus/usb:/dev/bus/usb \
           --mount type=bind,source=/var/tmp,destination=/var/tmp \
           --device /dev/ion:/dev/ion \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           -e OPENVINO_TF_BACKEND=VAD-M \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

步骤3：运行客户端推理脚本

bash
wget https://raw.githubusercontent.com/tensorflow/serving/master/tensorflow_serving/example/resnet_client.py
python resnet_client.py

OpenVINO™与TensorFlow集成执行期间适用的所有相关环境变量，在通过容器运行时同样适用。例如，要在启动TensorFlow Serving容器时禁用OpenVINO™与TensorFlow集成，只需在docker run命令中添加环境变量OPENVINO_TF_DISABLE=1。更多此类环境变量详见https://github.com/openvinotoolkit/openvino_tensorflow/blob/master/docs/USAGE.md%E3%80%82

bash
docker run -it --rm \
           -p 8501:8501 \
           -v <resnet_v2_50_classifiation路径>:/models/resnet \
           -e MODEL_NAME=resnet \
           -e OPENVINO_TF_DISABLE=1 \
           openvino/openvino_tensorflow_ubuntu20_runtime:2.2.0-serving

许可证

版权所有 © 2022 Intel Corporation

OpenVINO™与TensorFlow集成的这些镜像基于https://github.com/openvinotoolkit/openvino_tensorflow/blob/master/LICENSE%E8%AE%B8%E5%8F%AF%E3%80%82

组件：

• https://hub.docker.com/r/openvino/ubuntu18_runtime
• https://www.tensorflow.org/

* 其他名称和品牌可能是他人的财产。