dustynv/text-generation-inference

text-generation-inference 镜像文档

镜像概述

text-generation-inference镜像是为NVIDIA Jetson边缘设备构建的文本生成推理容器，基于Hugging Face的https://github.com/huggingface/text-generation-inference%E9%A1%B9%E7%9B%AE%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E6%97%A8%E5%9C%A8%E6%8F%90%E4%BE%9B%E9%AB%98%E6%95%88%E7%9A%84%E5%A4%A7%E5%9E%8B%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%88LLM%EF%BC%89%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%EF%BC%8C%E6%94%AF%E6%8C%81%E5%9C%A8Jetson%E8%AE%BE%E5%A4%87%E4%B8%8A%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8C%E5%90%84%E7%B1%BB%E5%BC%80%E6%BA%90%E6%96%87%E6%9C%AC%E7%94%9F%E6%88%90%E6%A8%A1%E5%9E%8B%E3%80%82

核心功能与特性

主要特性

• 专为Jetson设备优化，支持NVIDIA GPU加速（依赖CUDA、cuDNN）
• 基于PyTorch 2.2及Transformers框架，兼容Hugging Face模型生态
• 集成bitsandbytes量化技术，支持低精度推理以节省显存
• 提供灵活的部署方式，支持通过jetson-containers工具或直接docker run命令启动

依赖环境

• 系统要求：L4T（Linux for Tegra）版本 >=34.1.0（对应JetPack 5.1+）
• 核心依赖：build-essential、CUDA、cuDNN、Python、NumPy、CMake、ONNX、PyTorch 2.2、TorchVision、Hugging Face Hub、Rust、Transformers、bitsandbytes

容器镜像信息

兼容性说明：

• L4T R32.7容器可运行于其他L4T R32.7版本（JetPack 4.6+）
• L4T R35.x容器可运行于其他L4T R35.x版本（JetPack 5.1+）

使用方法

运行容器

可通过jetson-containers run工具（自动适配版本）或直接使用docker run命令启动容器：

使用jetson-containers run（推荐）

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag text-generation-inference)

# 或显式指定镜像标签
jetson-containers run dustynv/text-generation-inference:r35.3.1

使用docker run命令

bash
sudo docker run --runtime nvidia -it --rm --network=host dustynv/text-generation-inference:r35.3.1

说明：jetson-containers run会自动添加默认参数（如--runtime nvidia、挂载/data缓存目录、检测设备），autotag工具会根据当前JetPack/L4T版本匹配兼容镜像。

挂载本地目录

如需将主机目录挂载到容器内，使用-v参数：

bash
jetson-containers run -v /本地路径:/容器内路径 $(autotag text-generation-inference)

运行指定命令

启动容器时直接运行命令（非交互式shell）：

bash
jetson-containers run $(autotag text-generation-inference) 你的命令 --参数

构建容器

若需手动构建镜像，先完成https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md%EF%BC%8C%E7%84%B6%E5%90%8E%E6%89%A7%E8%A1%8C%EF%BC%9A

bash
jetson-containers build text-generation-inference

构建过程会自动集成所有依赖项并进行测试。可添加--help查看更多构建选项：

bash
jetson-containers build text-generation-inference --help

相关链接

• 项目源码：https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/text-generation-inference
• Dockerfile：https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/text-generation-inference/Dockerfile
• 镜像仓库：https://hub.docker.com/r/dustynv/text-generation-inference/tags