andspace/trt-llm

TensorRT-LLM Docker镜像 - 生产就绪的NVIDIA AI推理平台

🎯 概述

基于Ubuntu 22.04和NVIDIA CUDA 12.4构建的高性能Docker生态，用于TensorRT-LLM的开发与部署，针对GPU加速的AI模型推理和编译工作流进行优化。

---

📦 可用镜像

🔧 Base镜像 - base

生产推理的运行环境

核心栈：

• 🎯 NVIDIA CUDA：12.4.1 Runtime
• 🔥 PyTorch：带CUDA支持
• ⚡ TensorRT-LLM：0.21（生产就绪）
• 🐍 Python：3.10+（含pip、setuptools、wheel）

预装库：

• 🧮 科学计算：NumPy、SciPy
• 🤖 AI/ML：Transformers、Tokenizers、***en
• 🎵 媒体处理：FFmpeg

适用场景： 生产推理、模型服务、运行时部署

🛠️ Development镜像 - dev

完整编译环境

构建环境：

• 🔨 编译工具：GCC、CMake、Ninja、Git LFS
• 🌐 并行计算：OpenMPI开发头文件
• 📂 预配置工作区：/workspace 包含TensorRT-LLM v0.21源码

高级特性：

• 🎯 GPU优化：CUDA架构目标（8.6）
• 🔧 依赖：MPI4py、打包工具、类型扩展
• 📋 即用性：已克隆TensorRT-LLM仓库及子模块

适用场景： 模型编译、自定义引擎构建、开发工作流

---

🏷️ 标签策略

🎯 Latest标签

latest → base  # 指向最常用的镜像

📋 所有可用标签

Base镜像：

andspace/trt-llm:1.0-base-12.4-0.21    # 完整版本
andspace/trt-llm:1.0-base               # 短版本  
andspace/trt-llm:base                   # 类型标签
andspace/trt-llm:latest                 # 最新版（→ base）

Development镜像：

andspace/trt-llm:1.0-dev-12.4-0.21     # 完整版本
andspace/trt-llm:1.0-dev                # 短版本
andspace/trt-llm:dev                    # 类型标签

🔄 版本格式

{release}-{type}-{cuda}-{tensorrt}
    │       │       │        └─ TensorRT-LLM版本（主.次）
    │       │       └────────── CUDA版本（主.次）  
    │       └────────────────── 镜像类型（base/dev）
    └────────────────────────── 发布版本（1.0）

---

🚀 快速开始

bash
# 运行时推理（推荐）
docker pull andspace/trt-llm:latest

# 开发与编译
docker pull andspace/trt-llm:dev

# 版本固定
docker pull andspace/trt-llm:1.0-base-12.4-0.21

---

💻 系统要求

---

🎯 使用场景

• ⚡ 大语言模型推理
• 🔧 TensorRT引擎编译
• 🚀 CUDA加速的AI工作负载
• 🏭 生产级ML部署
• 🔬 研究环境