openvino/model_server Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

近期标签的功能

Intel® Distribution of OpenVINO™ 模型服务器 Docker 镜像

OpenVINO™ 模型服务器是一个可扩展的高性能解决方案，用于部署针对 Intel® 架构优化的机器学习模型。该服务器通过 gRPC、REST API 或 C API 提供推理服务，便于部署新算法和 AI 实验。

• GitHub: [***]
• 文档: [***]

Intel® Distribution of OpenVINO™ 工具包可快速部署模拟人类视觉的应用程序和解决方案。基于卷积神经网络 (CNN)，该工具包可在 Intel® 硬件上扩展计算机视觉 (CV) 工作负载，最大限度提高性能。

• 网站: [***]
  
• 发行说明: [***]
  
• 文档: [***]
  
• 支持论坛: [***]

Docker 部署示例

查看帮助信息

sh
docker run -it --rm openvino/model_server:latest --help

启动单个模型服务

无需配置文件，通过单命令启动容器并部署模型：

sh
docker run --rm -d -v /models/:/opt/ml:ro -p 9001:9001 -p 8001:8001 openvino/model_server:latest --model_path /opt/ml/model1 --model_name my_model --port 9001 --rest_port 8001

注：上述命令将本地 /models/ 目录挂载为只读卷，映射 gRPC 端口 9001 和 REST 端口 8001，部署路径为 /opt/ml/model1 的模型并命名为 my_model。

更多部署指南：经典模型快速入门、LLM 模型快速入门

许可证

***声明：通过访问、下载或使用本软件及依赖组件（“软件包”），您同意软件许可协议条款，包括第三方软件的相关声明与条款。详情见“third-party-programs.txt”或类似文件。

使用本容器即表示您同意 Intel 软件许可协议。镜像用户需自行确保符合所有组件的许可要求及潜在费用。

主要组件许可：

• Ubuntu: [***]
• Intel® Distribution of OpenVINO™ 工具包: [***]

更多 Intel 容器（HPC/AI/ML 等）见 Intel® oneContainer Portal