dustynv/tritonserver

Triton Inference Server Docker镜像

镜像概述

Triton Inference Server（Triton推理服务器）Docker镜像专为NVIDIA Jetson系列设备优化，提供高性能、多框架的模型推理服务。该镜像基于不同版本的JetPack/L4T构建，集成了CUDA、cuDNN、TensorRT等必要依赖，支持在边缘设备上高效部署和运行AI模型。

核心特性

• Jetson硬件优化：针对Jetson设备GPU特性优化，充分发挥边缘计算性能
• 多版本兼容：提供适配不同JetPack/L4T版本的镜像，支持L4T 32.7+、35.x及36.x系列
• 完整依赖集成：包含build-essential、CUDA、cuDNN、Python、TensorRT等核心组件
• 简化部署流程：支持通过jetson-containers工具或原生docker命令快速启动

环境要求

• 系统版本：L4T (Linux for Tegra) >=32.6（对应JetPack 4.6及以上）
• 依赖组件：build-essential、CUDA、cuDNN、Python、TensorRT

依赖关系

• 依赖项：build-essential、CUDA、cuDNN、Python、TensorRT
• 被依赖项：deepstream（DeepStream SDK）

镜像版本信息

可用镜像标签

兼容性说明

• L4T R32.7容器可运行于其他L4T R32.7版本（JetPack 4.6+）
• L4T R35.x容器可运行于其他L4T R35.x版本（JetPack 5.1+）

运行容器

使用jetson-containers工具

通过jetson-containers run结合autotag自动管理镜像版本：

bash
# 自动拉取或构建兼容镜像
jetson-containers run $(autotag tritonserver)

# 显式指定镜像版本
jetson-containers run dustynv/tritonserver:r35.4.1

使用docker run命令

手动执行原生docker命令：

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/tritonserver:r35.4.1

说明：jetson-containers run默认添加--runtime nvidia、挂载/data缓存并检测设备；autotag工具会自动匹配当前JetPack/L4T版本的兼容镜像。

挂载目录

使用-v参数挂载主机目录至容器：

bash
jetson-containers run -v /host/path:/container/path $(autotag tritonserver)

运行指定命令

启动容器时直接执行命令（非交互式shell）：

bash
jetson-containers run $(autotag tritonserver) your_command --option argument

构建容器

自动构建

使用autotag时，若本地无兼容镜像，系统会自动提示构建。

手动构建

1. 完成https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md
2. 执行构建命令：

bash
jetson-containers build tritonserver

构建过程会集成依赖组件并进行测试。查看构建选项：

bash
jetson-containers build tritonserver --help

参考文档

• https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/jetson.html
• https://github.com/dusty-nv/jetson-containers/tree/master/packages/tritonserver/Dockerfile