dustynv/transformers

transformers

容器 镜像 运行 构建

HuggingFace Transformers库通过便捷的API支持各种NLP和视觉模型，被许多其他LLM包所使用。在HuggingFace Hub上有大量与其兼容的模型。

[!NOTE]
如果您希望使用Transformer的集成bitsandbytes量化（load_in_8bit/load_in_4bit）或AutoGPTQ量化，请运行以下容器，这些容器在Transformers基础上包含了相应的库：

• https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/auto_gptq%EF%BC%88%E4%BE%9D%E8%B5%96%E4%BA%8ETransformers%EF%BC%89
• https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/bitsandbytes%EF%BC%88%E4%BE%9D%E8%B5%96%E4%BA%8ETransformers%EF%BC%89

文本生成基准测试

替换您想要运行的文本生成模型（应该是像GPT、Llama等CausalLM模型）

bash
./run.sh $(./autotag transformers) \
   huggingface-benchmark.py --model=gpt2

如果模型仓库是私有的或需要身份验证，请添加--env HUGGINGFACE_TOKEN=<您的访问令牌>

默认情况下，性能测量会生成128个新的输出标记（可以使用--tokens=N设置）

可以使用--prompt='your prompt here'更改提示

精度/量化

使用--precision参数启用量化（选项：fp32 fp16 fp4 int8，默认：fp16）

如果您使用fp4或int8，请运行上面提到的https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/bitsandbytes%E5%AE%B9%E5%99%A8%EF%BC%8C%E4%BB%A5%E4%BE%BF%E5%AE%89%E8%A3%85bitsandbytes%E5%8C%85%E8%BF%9B%E8%A1%8C%E9%87%8F%E5%8C%96%E3%80%82%E9%A2%84%E6%9C%9F%E9%80%9A%E8%BF%87Transformers%E7%9A%844%E4%BD%8D/8%E4%BD%8D%E9%87%8F%E5%8C%96%E6%AF%94FP16%E6%85%A2%EF%BC%88%E4%BD%86%E6%B6%88%E8%80%97%E6%9B%B4%E5%B0%91%E5%86%85%E5%AD%98%EF%BC%89- 更多信息请参见此处。

其他库如https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/exllama%E3%80%81https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/awq%E5%92%8Chttps://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/auto-gptq%E6%9C%89%E8%87%AA%E5%AE%9A%E4%B9%89CUDA%E5%86%85%E6%A0%B8%E5%92%8C%E6%9B%B4%E9%AB%98%E6%95%88%E7%9A%84%E9%87%8F%E5%8C%96%E6%80%A7%E8%83%BD%E3%80%82

Llama2

• 首先从[***]
• 然后创建HuggingFace账户，并请求访问其中一个Llama2模型，如[***]
• 从[***]

bash
./run.sh --env HUGGINGFACE_TOKEN=<您的访问令牌> $(./autotag transformers) \
   huggingface-benchmark.py --model=meta-llama/Llama-2-7b-hf