dustynv/onnxruntime

onnxruntime Docker镜像文档

镜像概述

onnxruntime Docker镜像是专为NVIDIA Jetson嵌入式设备构建的ONNX模型运行环境，提供GPU加速的ONNX（Open Neural Network Exchange）模型推理能力。该镜像适配不同版本的L4T（Linux for Tegra）系统，集成了CUDA、CuDNN、TensorRT等依赖库，确保在Jetson平台上高效运行ONNX格式的深度学习模型。镜像包含多个版本标签，分别对应不同的onnxruntime版本和L4T系统要求，并提供构建工具版本用于自定义编译。

核心功能与特性

• GPU加速支持：基于CUDA、CuDNN和TensorRT优化，充分利用Jetson设备的GPU算力，提升ONNX模型推理性能
• 多版本适配：提供1.19、1.17、1.16.3、1.11等onnxruntime版本，分别适配L4T >=36、>=36（cu122）、==35.*、==32.*等不同系统版本
• 完整依赖集成：包含build-essential、python、cmake、numpy、onnx等基础依赖，开箱即可使用
• 构建工具版本：提供-builder标签版本，支持自定义构建onnxruntime-gpu wheel
• 预构建资源：构建的onnxruntime-gpu wheel文件保存在容器/opt目录下，方便提取使用

支持的镜像版本

主要镜像标签信息

可用容器镜像

兼容性说明：

• L4T R32.7容器可在其他L4T R32.7版本（JetPack 4.6+）上运行
  
• L4T R35.x容器可在其他L4T R35.x版本（JetPack 5.1+）上运行

使用场景与适用范围

• Jetson嵌入式设备上的ONNX模型部署与推理
• 深度学习应用在边缘计算场景的部署
• 需要GPU加速的ONNX模型测试与验证
• 自定义onnxruntime版本的构建与打包
• 作为基础镜像构建依赖ONNX运行时的上层应用（如efficientvit、stable-diffusion-webui等）

使用方法与配置说明

运行容器

使用jetson-containers工具（推荐）

jetson-containers工具可自动处理兼容性检查和默认配置，支持自动拉取或构建兼容镜像：

bash
# 自动选择与当前JetPack/L4T兼容的镜像
jetson-containers run $(autotag onnxruntime)

# 显式指定镜像版本
jetson-containers run dustynv/onnxruntime:r36.2.0

使用docker run命令

手动指定Docker参数运行容器：

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/onnxruntime:r36.2.0

说明：--runtime nvidia启用NVIDIA运行时，-it提供交互式终端，--rm退出时自动删除容器，--network=host使用主机网络

挂载本地目录

使用-v参数将主机目录挂载到容器中，方便数据共享：

bash
jetson-containers run -v /host/data:/container/data $(autotag onnxruntime)

运行命令而非交互式shell

在容器中直接执行命令，无需进入交互式终端：

bash
jetson-containers run $(autotag onnxruntime) python3 /path/to/your/onnx_inference_script.py

构建容器

如需手动构建镜像，先完成https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md%EF%BC%8C%E7%84%B6%E5%90%8E%E6%89%A7%E8%A1%8C%EF%BC%9A

bash
jetson-containers build onnxruntime

构建过程会自动处理依赖项并进行测试。可添加--help查看更多构建选项：

bash
jetson-containers build onnxruntime --help

提取onnxruntime-gpu wheel文件

构建的onnxruntime-gpu wheel保存在容器/opt目录下，可通过以下命令提取到主机：

bash
# 启动容器并挂载主机目录
sudo docker run --runtime nvidia -it --rm -v /host/opt:/container/opt dustynv/onnxruntime:r36.2.0

# 在容器内复制wheel文件到挂载目录
cp /opt/onnxruntime_gpu-*.whl /container/opt/

依赖项说明

所有onnxruntime镜像均包含以下核心依赖项：

• build-essential：基础编译工具
• cuda：NVIDIA CUDA工具包
• cudnn：CUDA深度神经网络库
• python：Python运行环境
• tensorrt：NVIDIA TensorRT推理优化器
• cmake：跨平台构建工具
• numpy：数值计算库
• onnx：ONNX模型格式支持库