dustynv/transformers Docker Image Overview

dustynv/transformers

dustynv

HuggingFace Transformers Docker镜像提供便捷API，支持多种NLP和视觉模型，兼容HuggingFace Hub上大量模型，适用于文本生成等LLM任务，支持多种精度和量化选项。

下载次数: 0状态：社区镜像维护者：dustynv仓库类型：镜像最近更新：2 年前

轩辕镜像，快一点，稳很多。点击查看

中文简介版本下载

轩辕镜像，快一点，稳很多。点击查看

transformers

容器 镜像 运行 构建

HuggingFace Transformers库通过便捷的API支持各种NLP和视觉模型，被许多其他LLM包所使用。在HuggingFace Hub上有大量与其兼容的模型。

[!NOTE]
如果您希望使用Transformer的集成bitsandbytes量化（load_in_8bit/load_in_4bit）或AutoGPTQ量化，请运行以下容器，这些容器在Transformers基础上包含了相应的库：

auto_gptq（依赖于Transformers）

bitsandbytes（依赖于Transformers）

文本生成基准测试

替换您想要运行的文本生成模型（应该是像GPT、Llama等CausalLM模型）

bash
./run.sh $(./autotag transformers) \
   huggingface-benchmark.py --model=gpt2

如果模型仓库是私有的或需要身份验证，请添加--env HUGGINGFACE_TOKEN=<您的访问令牌>

默认情况下，性能测量会生成128个新的输出标记（可以使用--tokens=N设置）

可以使用--prompt='your prompt here'更改提示

精度/量化

使用--precision参数启用量化（选项：fp32 fp16 fp4 int8，默认：fp16）

如果您使用fp4或int8，请运行上面提到的bitsandbytes容器，以便安装bitsandbytes包进行量化。预期通过Transformers的4位/8位量化比FP16慢（但消耗更少内存）- 更多信息请参见此处。

其他库如exllama、awq和AutoGPTQ有自定义CUDA内核和更高效的量化性能。

Llama2

首先从[***]
然后创建HuggingFace账户，并请求访问其中一个Llama2模型，如[***]
从[***]

bash
./run.sh --env HUGGINGFACE_TOKEN=<您的访问令牌> $(./autotag transformers) \
   huggingface-benchmark.py --model=meta-llama/Llama-2-7b-hf

容器

`transformers`
构建状态	![`transformers_jp60`]([] ![`transformers_jp51`]([] ![`transformers_jp46`]([***]
要求	`L4T ['>=32.6']`
依赖项	`build-essential` `cuda` `cudnn` `python` `numpy` `cmake` `onnx` `pytorch:2.2` `torchvision` `huggingface_hub` `rust`
被依赖项	`audiocraft` `auto_awq:0.2.4` `auto_gptq:0.7.1` `awq:0.1.0` `bitsandbytes` `bitsandbytes:builder` `efficientvit` `gptq-for-llama` `l4t-diffusion` `llava` `mlc:0.1.0` `mlc:0.1.0-builder` `mlc:0.1.1` `mlc:0.1.1-builder` `nanodb` `nanoowl` `nanosam` `nemo` `optimum` `stable-diffusion` `stable-diffusion-webui` `tensorrt_llm:0.10.dev0` `tensorrt_llm:0.10.dev0-builder` `tensorrt_llm:0.5` `tensorrt_llm:0.5-builder` `text-generation-inference` `text-generation-webui:1.7` `text-generation-webui:6a7cd01` `text-generation-webui:main` `voicecraft` `whisperx` `xtts`
Dockerfile	`Dockerfile`
镜像	`dustynv/transformers:git-r35.2.1` `(2023-12-15, 5.9GB)` `dustynv/transformers:git-r35.3.1` `(2023-12-12, 5.9GB)` `dustynv/transformers:git-r35.4.1` `(2023-12-11, 5.9GB)` `dustynv/transformers:nvgpt-r35.2.1` `(2023-12-05, 5.9GB)` `dustynv/transformers:nvgpt-r35.3.1` `(2023-12-15, 5.9GB)` `dustynv/transformers:nvgpt-r35.4.1` `(2023-12-14, 5.9GB)` `dustynv/transformers:r32.7.1` `(2023-12-15, 1.5GB)` `dustynv/transformers:r35.2.1` `(2023-12-11, 5.9GB)` `dustynv/transformers:r35.3.1` `(2023-12-12, 5.9GB)` `dustynv/transformers:r35.4.1` `(2023-12-15, 5.9GB)` `dustynv/transformers:r36.2.0` `(2023-12-15, 7.6GB)`
说明	在JetPack5上添加了bitsandbytes和auto_gptq依赖项，用于4位/8位量化

`transformers:git`
构建状态	![`transformers-git_jp51`]([***]
要求	`L4T ['>=32.6']`
依赖项	`build-essential` `cuda` `cudnn` `python` `numpy` `cmake` `onnx` `pytorch:2.2` `torchvision` `huggingface_hub` `rust`
Dockerfile	`Dockerfile`
镜像	`dustynv/transformers:git-r35.2.1` `(2023-12-15, 5.9GB)` `dustynv/transformers:git-r35.3.1` `(2023-12-12, 5.9GB)` `dustynv/transformers:git-r35.4.1` `(2023-12-11, 5.9GB)`
说明	在JetPack5上添加了bitsandbytes和auto_gptq依赖项，用于4位/8位量化