degirum/aiserver

DeGirum AI Server Docker镜像文档

镜像概述和主要用途

本镜像为DeGirum AI Server的官方Docker镜像，包含DeGirum PySDK及多种AI运行时环境。启动容器后，DeGirum AI Server将自动运行，通过指定端口提供AI推理服务。镜像本身不包含AI模型，需通过绑定挂载本地模型库目录或使用云模型库。

核心功能和特性

集成的AI运行时

• DeGirum N2X运行时：支持DeGirum Orca设备
• Intel® OpenVINO™运行时：支持CPU、GPU和NPU设备
• Google TensorFlow Lite运行时：支持CPU和Coral Edge TPU设备
• ONNX运行时：支持CPU
• Rockchip RKNN Runtime：支持RKNPU设备

服务端口

• 8778端口：使用DeGirum专有协议接收客户端连接
• 8779端口：使用HTTP/WebSockets协议接收客户端连接

模型支持

• 需通过https://docs.docker.com/storage/bind-mounts/%E5%B0%86%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%9E%8B%E5%BA%93%E7%9B%AE%E5%BD%95%E6%8C%82%E8%BD%BD%E8%87%B3%E5%AE%B9%E5%99%A8%E5%86%85%60/zoo%60%E7%9B%AE%E5%BD%95
• 支持使用云模型库（无需本地模型库）

使用场景和适用范围

适用于需要快速部署AI推理服务的场景，支持多种硬件加速设备（Orca、CPU、GPU、NPU、Coral Edge TPU、RKNPU等），可作为边缘计算或云端AI服务的基础设施。

使用方法和配置说明

前置要求

• 已在Docker主机（运行容器的计算机）上安装https://www.docker.com/get-started/%E6%88%96https://docs.docker.com/engine/install/

运行预构建镜像

DeGirum在DockerHub提供预构建镜像，可直接运行：

bash
docker run -d -p 8778-8779:8778-8779 -v /my/model/zoo/dir:/zoo --privileged docker.xuanyuan.run/degirum/aiserver:latest

参数说明

• -d：后台运行容器
• -p 8778-8779:8778-8779：映射容器8778和8779端口到主机
• -v /my/model/zoo/dir:/zoo：将主机本地模型库目录/my/model/zoo/dir挂载至容器/zoo目录（可选，省略则仅支持云模型）
• --privileged：必要参数，确保PySDK服务器对/sys/bus/pci目录有写权限

客户端连接示例

通过DeGirum PySDK连接AI服务器：

python
import degirum as dg
zoo = dg.connect("<docker主机IP或主机名>" [, "<云模型库URL>", "<云访问令牌>"])

自行构建镜像

若需自行构建镜像，执行以下命令：

bash
git clone https://github.com/DeGirum/docker-degirum
cd docker-degirum/aiserver
docker build . -t degirum/aiserver:latest

构建包含嵌入式模型库的镜像

如需将模型库直接嵌入镜像，在Docker主机的空目录中创建以下Dockerfile：

dockerfile
FROM docker.xuanyuan.run/degirum/aiserver:latest
COPY /my/model/zoo/dir /zoo/

其中/my/model/zoo/dir为Docker主机上的本地模型库目录。

构建命令

在包含Dockerfile的目录中执行：

bash
docker build . -t your-custom-tag

your-custom-tag为自定义镜像标签。

运行命令

无需挂载模型库目录，直接运行：

bash
docker run -d -p 8778-8779:8778-8779 --privileged docker.xuanyuan.run/your-custom-tag

构建支持HailoRT运行时的镜像

如需添加HailoRT运行时支持，需指定HAILORT_DEB构建参数。将HailoRT .deb文件（如hailort.deb）放在Dockerfile同级目录，执行以下命令：

bash
docker build . -t degirum/aiserver:latest --build-arg HAILORT_DEB=hailort.deb

hailort.deb为HailoRT安装包路径。

运行支持Hailo加速器的容器

如需容器访问Hailo加速器，启动时添加额外参数：

bash
docker run -d \
  -p 8778-8779:8778-8779 \
  -v ~/HailoModels/:/zoo \
  -v /dev:/dev \
  -v /lib/firmware:/lib/firmware \
  -v /lib/udev/rules.d:/lib/udev/rules.d \
  -v /lib/modules:/lib/modules \
  --device=/dev/hailo0:/dev/hailo0 \
  --privileged \
  degirum/aiserver:latest