dustynv/exllama

exllama

镜像概述和主要用途

该镜像提供ExLlama和ExLlamaV2两种容器，用于在Jetson设备上运行***量化模型的高效推理：

• exllama容器基于https://github.com/jllllll/exllama%EF%BC%88turboderp/exllama%E7%9A%84%E5%88%86%E6%94%AF%EF%BC%89%EF%BC%8C%E5%AE%89%E8%A3%85%E4%BA%8E%60/opt/exllama%60
• exllama:v2容器基于https://github.com/turboderp/exllamav2%EF%BC%8C%E5%AE%89%E8%A3%85%E4%BA%8E%60/opt/exllamav2%60

两种加载器均支持oobabooga的https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/text-generation-webui%E5%AE%B9%E5%99%A8%E3%80%82

核心功能和特性

• 支持HuggingFace Hub的***量化模型（需符合https://github.com/turboderp/exllama/blob/master/doc/model_compatibility.md%EF%BC%89
• 提供推理性能基准测试工具，可验证模型性能和正确性
• 针对Jetson设备优化，高效利用GPU资源
• 支持私有或需认证的模型仓库（通过HUGGINGFACE_TOKEN）

使用场景和适用范围

• 本地大语言模型（LLM）推理部署
• ***模型性能评估与基准测试
• Jetson平台上的低资源LLM应用开发
• 集成到text-generation-webui等交互界面

使用方法和配置说明

推理基准测试

替换HuggingFace Hub中的***模型（如Llama-2系列）进行推理性能测试：

bash
./run.sh --workdir=/opt/exllama $(./autotag exllama) /bin/bash -c \
  'python3 test_benchmark_inference.py --perf --validate -d $(huggingface-downloader TheBloke/Llama-2-7B-GPTQ)'

若模型仓库为私有或需认证，添加环境变量：--env HUGGINGFACE_TOKEN=<YOUR-ACCESS-TOKEN>

内存使用情况

容器信息

容器镜像

容器镜像兼容其他JetPack/L4T次要版本：

• L4T R32.7容器可在其他L4T R32.7版本（JetPack 4.6+）上运行
• L4T R35.x容器可在其他L4T R35.x版本（JetPack 5.1+）上运行

运行容器

可使用jetson-containers run和autotag自动选择兼容镜像，或手动构造docker run命令：

bash
# 自动拉取或构建兼容镜像
jetson-containers run $(autotag exllama)

# 显式指定镜像
jetson-containers run dustynv/exllama:v1-r36.2.0

# 使用docker run命令
sudo docker run --runtime nvidia -it --rm --network=host dustynv/exllama:v1-r36.2.0

jetson-containers run会向前传递参数给docker run，并添加默认配置（如--runtime nvidia、挂载/data缓存、检测设备）
autotag会查找与当前JetPack/L4T版本兼容的本地、仓库或可构建的镜像

挂载主机目录到容器：

bash
jetson-containers run -v /host/path:/container/path $(autotag exllama)

运行指定命令（非交互式shell）：

bash
jetson-containers run $(autotag exllama) my_app --abc xyz

构建容器

若使用autotag，会在需要时自动构建镜像。手动构建需先完成https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md%EF%BC%8C%E7%84%B6%E5%90%8E%E8%BF%90%E8%A1%8C%EF%BC%9A

bash
jetson-containers build exllama

构建过程会包含所有依赖项并进行测试。使用--help查看构建选项：jetson-containers build exllama --help