dustynv/torch_tensorrt

torch_tensorrt Docker镜像文档

1. 镜像概述和主要用途

torch_tensorrt是针对NVIDIA Jetson设备优化的Docker镜像，集成PyTorch和TensorRT技术，旨在通过TensorRT的高性能推理能力加速PyTorch模型。该镜像基于JetPack/L4T系统（要求L4T >=32.6，即JetPack 4.6及以上），提供预配置环境，简化在Jetson平台上部署PyTorch模型的流程，适用于需要高效推理性能的AI应用场景。

2. 核心功能和特性

• 性能优化：集成TensorRT，实现PyTorch模型推理优化，提升吞吐量并降低延迟
• 版本兼容性：支持多个JetPack/L4T版本，包括r32.7.1（JetPack 4.6+）和r35.x（JetPack 5.1+）系列
• 架构支持：专为arm64架构设计，适配Jetson Nano、Xavier、Orin等设备
• 依赖集成：预安装CUDA、cuDNN、PyTorch 2.2、TorchVision、ONNX等关键依赖，开箱即用
• 灵活部署：支持通过jetson-containers工具自动管理或手动构建运行，满足不同部署需求

3. 使用场景和适用范围

适用于在NVIDIA Jetson设备上部署基于PyTorch的AI应用，尤其适合需要高性能推理的场景：

• 实时图像识别与分类
• 目标检测与跟踪系统
• 语义分割应用
• 边缘计算中的AI推理任务

4. 详细使用方法

4.1 运行容器

4.1.1 使用jetson-containers工具（推荐）

jetson-containers工具可自动选择与当前JetPack版本兼容的镜像：

bash
# 自动拉取或构建兼容镜像并启动交互式shell
jetson-containers run $(autotag torch_tensorrt)

# 显式指定特定版本镜像
jetson-containers run dustynv/torch_tensorrt:r35.3.1

4.1.2 使用docker run命令

手动执行docker run命令，需指定NVIDIA运行时：

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/torch_tensorrt:r35.3.1

4.1.3 挂载主机目录

通过-v参数将主机目录挂载到容器中实现数据共享：

bash
jetson-containers run -v /path/on/host:/path/in/container $(autotag torch_tensorrt)

4.1.4 执行命令而非交互式shell

启动容器时直接运行指定命令：

bash
jetson-containers run $(autotag torch_tensorrt) python /path/to/script.py --arg1 value1

4.2 构建容器

若需手动构建镜像，先完成https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md%EF%BC%8C%E7%84%B6%E5%90%8E%E6%89%A7%E8%A1%8C%EF%BC%9A

bash
jetson-containers build torch_tensorrt

构建过程会自动集成所有依赖并进行测试，可通过--help查看更多构建选项：

bash
jetson-containers build torch_tensorrt --help

5. 镜像版本信息

兼容性说明：

• L4T R32.7容器可在L4T R32.7的其他次要版本（JetPack 4.6+）上运行
• L4T R35.x容器可在L4T R35.x的其他次要版本（JetPack 5.1+）上运行