roboflow/roboflow-inference-server-trt

Roboflow Inference Server (TRT Targets) 镜像文档

1. 镜像概述和主要用途

1.1 概述

Roboflow Inference Server (TRT Targets) 是 Roboflow 官方推出的推理服务器 Docker 镜像，专为 NVIDIA TensorRT (TRT) 优化，旨在为计算机视觉模型提供高性能推理服务。该镜像集成了 Roboflow 模型管理能力与 TensorRT 的深度学习推理加速技术，支持快速部署预训练或自定义训练的计算机视觉模型。

1.2 主要用途

• 为 Roboflow 平台训练的计算机视觉模型（如目标检测、分类、分割模型）提供生产级推理服务
• 利用 TensorRT 优化实现低延迟、高吞吐量的模型推理
• 通过标准化接口（REST/gRPC）简化模型与应用系统的集成

2. 核心功能和特性

2.1 性能优化

• TensorRT 深度整合：利用 TensorRT 进行模型优化（层融合、精度校准、内核自动调优），显著提升推理速度
• 多精度支持：支持 FP32/FP16/INT8 精度模式，平衡推理性能与精度需求
• GPU 加速：充分利用 NVIDIA GPU 硬件能力，支持多 GPU 并行推理

2.2 模型兼容性

• 原生支持 Roboflow 模型格式（通过 Roboflow API 直接拉取模型）
• 兼容 ONNX 标准格式模型（需转换为 TensorRT 引擎）
• 支持多模型并行加载与推理

2.3 接口与集成

• REST API：提供 HTTP 接口，支持 JSON 输入输出，易于通过 curl、Python 等工具调用
• gRPC 接口：提供高性能二进制协议，适用于低延迟、高并发场景
• 健康检查接口：内置 /health 端点，便于监控服务状态

2.4 部署灵活性

• 支持自定义模型路径（本地挂载或远程拉取）
• 可配置推理参数（批处理大小、并发数、GPU 资源分配）
• 日志与指标输出（支持 Prometheus 监控集成）

3. 使用场景和适用范围

3.1 典型使用场景

• 实时计算机视觉应用：如智能监控（实时目标检测）、工业质检（缺陷检测）、自动驾驶感知
• 边缘计算部署：在边缘 GPU 设备（如 NVIDIA Jetson、边缘服务器）上提供本地化推理
• 高并发推理服务：为大规模应用（如电商商品识别、社交媒体内容审核）提供高吞吐量推理支持
• 模型原型验证：快速部署 Roboflow 训练的模型进行性能测试与应用集成验证

3.2 适用范围

• 用户：计算机视觉开发者、企业技术团队、需要部署 Roboflow 模型的生产环境
• 硬件：配备 NVIDIA GPU 的设备（需支持 TensorRT，如 Turing 架构及以上 GPU）
• 模型来源：Roboflow 平台训练的模型、导出为 ONNX 格式的自定义模型

4. 使用方法和配置说明

4.1 前提条件

• 安装 Docker Engine (20.10+)
• 安装 NVIDIA Docker 运行时（nvidia-docker2），确保 Docker 可访问 GPU
• 具备可用的 NVIDIA GPU（计算能力 ≥ 6.0，支持 TensorRT 8.0+）
• （可选）Roboflow 账号及 API Key（用于拉取 Roboflow 托管模型）

4.2 镜像获取

从 Docker Hub 或 Roboflow 官方镜像仓库拉取镜像：

bash
docker pull roboflow/roboflow-inference-trt:latest

4.3 启动容器（docker run）

4.3.1 基础启动命令（拉取 Roboflow 托管模型）

bash
docker run --gpus all \
  -p 8080:8080 \  # REST API 端口映射
  -p 9001:9001 \  # gRPC 端口映射
  -e ROBOFLOW_API_KEY="your_roboflow_api_key" \  # Roboflow API Key（必填）
  -e MODEL_ID="your_model_id/version" \  # 模型 ID 及版本（如 "my-detection-model/1"）
  -e TRT_PRECISION="FP16" \  # TensorRT 精度模式（FP32/FP16/INT8，默认 FP32）
  roboflow/roboflow-inference-trt:latest

4.3.2 加载本地模型（挂载模型目录）

bash
docker run --gpus all \
  -p 8080:8080 \
  -p 9001:9001 \
  -v /path/to/local/models:/models \  # 挂载本地模型目录到容器内 /models
  -e MODEL_PATH="/models/your_local_model" \  # 指定容器内模型路径
  -e TRT_PRECISION="INT8" \
  roboflow/roboflow-inference-trt:latest

4.4 Docker Compose 配置示例

创建 docker-compose.yml：

yaml
version: '3.8'
services:
  roboflow-inference-trt:
    image: roboflow/roboflow-inference-trt:latest
    runtime: nvidia  # 启用 NVIDIA 运行时（旧版 Docker）或使用 deploy.resources 配置（Docker 20.10+）
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all  # 使用所有 GPU
              capabilities: [gpu]
    ports:
      - "8080:8080"   # REST API
      - "9001:9001"   # gRPC API
    environment:
      - ROBOFLOW_API_KEY=your_roboflow_api_key
      - MODEL_ID=my-detection-model/1
      - TRT_PRECISION=FP16
      - BATCH_SIZE=4  # 推理批处理大小（默认 1）
      - GPU_MEMORY_FRACTION=0.8  # 分配 GPU 内存比例（0.0-1.0，默认 0.9）
    volumes:
      - ./models:/models  # 可选：挂载本地模型目录
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

4.5 验证服务可用性

服务启动后，通过 REST API 验证：

bash
curl http://localhost:8080/health
# 预期响应：{"status": "healthy", "model_loaded": true}

5. 配置参数说明

5.1 环境变量

5.2 端口映射

6. 注意事项

• GPU 依赖：必须使用 NVIDIA GPU，且安装对应版本的 CUDA 驱动（需支持 TensorRT 最低版本要求，参考 TensorRT 文档）
• 模型兼容性：非 Roboflow 模型需提前转换为 ONNX 格式，并确保与 TensorRT 兼容（可通过 trtexec 工具验证）
• 权限配置：本地模型目录需确保容器内用户有读取权限（可通过 --user 参数指定用户 ID）
• 性能调优：高并发场景建议调整 BATCH_SIZE 和 GPU_MEMORY_FRACTION，并通过监控工具（如 nvidia-smi）观察 GPU 利用率
• 版本锁定：生产环境建议指定具体版本标签（如 v0.1.0）而非 latest，避免版本变更风险