intel/video-analytics-serving

Video Analytics Serving

镜像概述和主要用途

Video Analytics Serving (VA Serving) 是一个Python包和微服务，用于部署硬件优化的媒体分析管道。它支持基于https://gstreamer.freedesktop.org/documentation/?gi-language=c%E6%88%96https://ffmpeg.org/%E5%AA%92%E4%BD%93%E6%A1%86%E6%9E%B6%E5%AE%9A%E4%B9%89%E7%9A%84%E7%AE%A1%E9%81%93%EF%BC%8C%E5%B9%B6%E6%8F%90%E4%BE%9B%E7%94%A8%E4%BA%8E%E5%8F%91%E7%8E%B0%E3%80%81%E5%90%AF%E5%8A%A8%E3%80%81%E5%81%9C%E6%AD%A2%E3%80%81%E8%87%AA%E5%AE%9A%E4%B9%89%E5%92%8C%E7%9B%91%E6%8E%A7%E7%AE%A1%E9%81%93%E6%89%A7%E8%A1%8C%E7%9A%84API%E3%80%82VA Serving基于https://github.com/openvinotoolkit/dlstreamer_gst%E5%92%8Chttps://github.com/VCDP/FFmpeg-patch%E6%9E%84%E5%BB%BA%E3%80%82

本容器提供基于DL Streamer的独立微服务，包含以下管道：

重要提示： Video Analytics Serving 作为预生产预览版提供。部署基于VA Serving的微服务的开发人员应根据其生产需求进行评估。

支持的标签和Dockerfile链接

重要提示： DL Streamer Edge AI Extension镜像现在可在https://hub.docker.com/r/intel/dlstreamer-edge-ai-extension%E8%8E%B7%E5%8F%96%E3%80%82

• https://github.com/intel/video-analytics-serving/blob/v0.7.0-beta/docker/Dockerfile%E3%80%81https://github.com/intel/video-analytics-serving/blob/v0.7.0-beta/docker/Dockerfile
  • 初始版本使用Intel® Distribution of OpenVINO™ Toolkit 2021.4.2

核心功能和特性

• 支持GStreamer和FFmpeg媒体框架定义的分析管道
• 提供API接口用于管道的发现、启动、停止、自定义和监控
• 包含多种预定义管道：对象检测、对象分类、对象跟踪、音频检测和动作识别
• 支持硬件优化，可利用GPU进行推理加速
• 输出元数据支持JSON格式，便于后续处理和分析

使用场景和适用范围

• 视频监控系统中的实时对象检测与跟踪
• 智能零售中的顾客行为分析
• 公共安全领域的异常事件检测（如玻璃破碎声音识别）
• 工业场景中的设备状态监控和动作识别
• 需要媒体分析能力的边缘计算应用

使用方法和配置说明

运行Docker容器

Docker需要访问HTTP端口（默认8080）。以下示例同时提供对/tmp文件夹的访问权限，用于写入元数据结果：

bash
docker run -p 8080:8080 -v /tmp:/tmp docker.xuanyuan.run/intel/video-analytics-serving

通过授予Docker访问设备/dev/dri来启用GPU推理：

注意： Ubuntu20主机需要https://github.com/openvinotoolkit/docker_ci/blob/master/configure_gpu_ubuntu20.md%E6%89%8D%E8%83%BD%E8%AE%BF%E9%97%AEGPU

bash
docker run -p 8080:8080 -v /tmp:/tmp --device /dev/dri docker.xuanyuan.run/intel/video-analytics-serving

使用curl发送请求

以下示例展示如何通过curl发送请求，实现：

• 使用person-bicycle-car-detection.mp4作为媒体源
• 运行object_detection/person_vehicle_bike管道
• 仅返回检测置信度超过0.7的结果
• 将输出发送到/tmp/detection_results.json

bash
curl localhost:8080/pipelines/object_detection/person_vehicle_bike -X POST -H \
'Content-Type: application/json' -d \
'{
  "source": {
    "uri": "https://github.com/intel-iot-devkit/sample-videos/blob/master/person-bicycle-car-detection.mp4?raw=true",
    "type": "uri"
  },
  "parameters" : {
    "threshold" : 0.75
  },
  "destination": {
    "metadata": {
      "type": "file",
      "path": "/tmp/detection_results.json",
      "format": "json-lines"
    }
  }
}'

可通过以下命令查看输出：

bash
tail -f /tmp/detection_results.json

示例输出：

json
{"objects":[{"detection":{"bounding_box":{"x_max":0.7481285929679871,"x_min":0.6836653351783752,"y_max":0.9999656677246094,"y_min":0.7867168188095093},"confidence":0.8825281858444214,"label":"person","label_id":1},"h":92,"roi_type":"person","w":50,"x":525,"y":340}],"resolution":{"height":432,"width":768},"source":"https://github.com/intel-iot-devkit/sample-videos/blob/master/person-bicycle-car-detection.mp4?raw=true","timestamp":1833333333}
{"objects":[{"detection":{"bounding_box":{"x_max":0.7502986788749695,"x_min":0.6836960911750793,"y_max":0.9965760111808777,"y_min":0.7709739804267883},"confidence":0.9252141118049622,"label":"person","label_id":1},"h":97,"roi_type":"person","w":51,"x":525,"y":333}],"resolution":{"height":432,"width":768},"source":"https://github.com/intel-iot-devkit/sample-videos/blob/master/person-bicycle-car-detection.mp4?raw=true","timestamp":1916666666}

有关自定义请求或从源代码构建的更多详细信息，请参见 https://github.com/intel/video-analytics-serving/tree/v0.7.0-beta

许可证

***声明：通过访问、下载或使用本软件及任何所需的依赖软件（"软件包"），您同意软件包的软件许可协议条款和条件，其中可能还包括软件包中包含的第三方软件的通知、免责声明或许可条款。请参阅"third-party-programs.txt"或其他类似名称的文本文件以获取更多详细信息。

与任何预构建镜像的使用一样，镜像用户有责任确保对本镜像的任何使用符合其中包含的所有软件的相关许可证和潜在费用。供应商不提供任何赔偿或保修。