thanhtantran/rkllm-toolkit-cli

rkllm-toolkit-cli镜像说明

镜像概述

本镜像提供工具脚本，用于将Hugging Face模型转换为rkllm格式，使其能够在瑞芯微NPU（如Orange Pi 5系列设备）上运行。转换过程需用户提供Hugging Face token以获取目标模型。

核心功能

• 将Hugging Face模型转换为rkllm格式
• 支持指定量化类型（默认w8a8）
• 可设置混合率（默认0.0）
• 支持开启/关闭优化（默认开启）
• 适配目标平台：rk3588、rk3576（默认rk3588）

使用场景

• 开发者需在瑞芯微NPU设备上部署Hugging Face预训练模型
• 嵌入式设备场景下，将模型转换为适合NPU运行的轻量化格式

配置说明

1. 存储Hugging Face Token

首先创建本地目录并保存token：

bash
mkdir -p ~/.cache/huggingface
echo "hf_your_token_here" > ~/.cache/huggingface/token

2. 运行容器命令

使用以下命令运行容器，替换MODEL_IDS为目标Hugging Face模型ID：

bash
sudo docker run --rm --privileged \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  thanhtantran/rkllm-cli:latest MODEL_IDS

3. 工具使用选项

Usage: rkllm-toolkit [OPTIONS] MODEL_IDS...

╭─ 参数 ───────────────────────────────────────────────────────────────────────────────────────────────╮
│ *    model_ids      MODEL_IDS...  HuggingFace模型ID [必填项]                        │
╰───────────────────────────────────────────────────────────────────────────────────────────────────────────╯
╭─ 选项 ─────────────────────────────────────────────────────────────────────────────────────────────────╮
│ --qtypes                                     TEXT             量化类型 [默认: w8a8]          │
│ --hybrid-rates                               FLOAT            混合率 [默认: 0.0]                 │
│ --optimization          --no-optimization                     优化级别 [默认: 开启优化]  │
│ --platform                                   [rk3588|rk3576]  目标平台 [默认: rk3588]           │
╰───────────────────────────────────────────────────────────────────────────────────────────────────────────╯