llama_cpp

概述

• 基于 [***] 构建，启用CUDA支持（位于 /opt/llama.cpp）
• 包含 [***] 的Python绑定（位于 /opt/llama-cpp-python）

[!WARNING] 从0.1.79版本开始，模型格式已从GGML更改为GGUF。现有GGML模型可使用llama.cpp中的convert-llama-ggmlv3-to-gguf.py脚本转换（或可在HuggingFace Hub找到GGUF格式的转换版本）

分支说明

为保持向后兼容性，该容器提供两个分支：

• llama_cpp:gguf（默认分支，跟踪上游master分支）
• llama_cpp:ggml（仍支持GGML模型格式）

legacy GGML分支应用了以下补丁：

• 修复ARM64架构下llama.h中__fp16的typedef（使用NVCC的half类型）
• BOS/EOS令牌解析（参见[***]

推理基准测试

可使用llama.cpp内置的main工具运行GGUF模型（来自HuggingFace Hub或其他来源）

bash
./run.sh --workdir=/opt/llama.cpp/bin $(./autotag llama_cpp) /bin/bash -c \
 './main --model $(huggingface-downloader TheBloke/Llama-2-7B-GGUF/llama-2-7b.Q4_K_S.gguf) \
         --prompt "很久很久以前，" \
         --n-predict 128 --ctx-size 192 --batch-size 192 \
         --n-gpu-layers 999 --threads $(nproc)'

--model参数需要.gguf文件名（通常使用Q4_K_S量化版本）
若加载Llama-2-70B模型，需添加--gqa 8标志

也可使用Python API和benchmark.py：

bash
./run.sh --workdir=/opt/llama.cpp/bin $(./autotag llama_cpp) /bin/bash -c \
 'python3 benchmark.py --model $(huggingface-downloader TheBloke/Llama-2-7B-GGUF/llama-2-7b.Q4_K_S.gguf) \
            --prompt "很久很久以前，" \
            --n-predict 128 --ctx-size 192 --batch-size 192 \
            --n-gpu-layers 999 --threads $(nproc)'

内存使用

容器信息

CONTAINERS

容器镜像

_{容器镜像与其他次要版本的JetPack/L4T兼容：
    • L4T R32.7容器可在其他L4T R32.7版本（JetPack 4.6+）上运行
    • L4T R35.x容器可在其他L4T R35.x版本（JetPack 5.1+）上运行}

运行容器

可使用jetson-containers run和autotag启动容器，或手动构建docker run命令：

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag llama_cpp)

# 或显式指定上述容器镜像之一
jetson-containers run dustynv/llama_cpp:r36.2.0

# 或使用'docker run'（指定镜像和挂载等）
sudo docker run --runtime nvidia -it --rm --network=host dustynv/llama_cpp:r36.2.0

^{jetson-containers run将参数转发给docker run，并添加一些默认值（如--runtime nvidia、挂载/data缓存、检测设备）
autotag会找到与您的JetPack/L4T版本兼容的容器镜像——本地、从注册表拉取或构建。}

要将主机目录挂载到容器中，使用-v或--volume标志：

bash
jetson-containers run -v /主机路径:/容器路径 $(autotag llama_cpp)

要启动容器运行命令而非交互式shell：

bash
jetson-containers run $(autotag llama_cpp) my_app --abc xyz

可传递任何docker run支持的选项，执行前会打印完整命令。

构建容器

若如上所示使用autotag，需要时会提示构建容器。要手动构建，先完成系统设置，然后运行：

bash
jetson-containers build llama_cpp

上述依赖项将构建到容器中，并在构建过程中进行测试。使用--help查看构建选项。