dustynv/text-generation-inference Docker 镜像 - 轩辕镜像

text-generation-inference 镜像文档

镜像概述

text-generation-inference镜像是为NVIDIA Jetson边缘设备构建的文本生成推理容器，基于Hugging Face的text-generation-inference项目。该镜像旨在提供高效的大型语言模型（LLM）推理服务，支持在Jetson设备上部署和运行各类开源文本生成模型。

核心功能与特性

主要特性

• 专为Jetson设备优化，支持NVIDIA GPU加速（依赖CUDA、cuDNN）
• 基于PyTorch 2.2及Transformers框架，兼容Hugging Face模型生态
• 集成bitsandbytes量化技术，支持低精度推理以节省显存
• 提供灵活的部署方式，支持通过jetson-containers工具或直接docker run命令启动

依赖环境

• 系统要求：L4T（Linux for Tegra）版本 >=34.1.0（对应JetPack 5.1+）
• 核心依赖：build-essential、CUDA、cuDNN、Python、NumPy、CMake、ONNX、PyTorch 2.2、TorchVision、Hugging Face Hub、Rust、Transformers、bitsandbytes

容器镜像信息

兼容性说明：

• L4T R32.7容器可运行于其他L4T R32.7版本（JetPack 4.6+）
• L4T R35.x容器可运行于其他L4T R35.x版本（JetPack 5.1+）

使用方法

运行容器

可通过jetson-containers run工具（自动适配版本）或直接使用docker run命令启动容器：

使用jetson-containers run（推荐）

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag text-generation-inference)

# 或显式指定镜像标签
jetson-containers run dustynv/text-generation-inference:r35.3.1

使用docker run命令

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/text-generation-inference:r35.3.1

说明：jetson-containers run会自动添加默认参数（如--runtime nvidia、挂载/data缓存目录、检测设备），autotag工具会根据当前JetPack/L4T版本匹配兼容镜像。

挂载本地目录

如需将主机目录挂载到容器内，使用-v参数：

bash
jetson-containers run -v /本地路径:/容器内路径 $(autotag text-generation-inference)

运行指定命令

启动容器时直接运行命令（非交互式shell）：

bash
jetson-containers run $(autotag text-generation-inference) 你的命令 --参数

构建容器

若需手动构建镜像，先完成jetson-containers系统设置，然后执行：

bash
jetson-containers build text-generation-inference

构建过程会自动集成所有依赖项并进行测试。可添加--help查看更多构建选项：

bash
jetson-containers build text-generation-inference --help

相关链接

• 项目源码：dusty-nv/jetson-containers/packages/llm/text-generation-inference
• Dockerfile：Dockerfile
• 镜像仓库：dustynv/text-generation-inference