jsntwdj/rkllm_chat

镜像概述

本镜像提供在RK3588 NPU上运行大模型的rknn-llm服务端环境，帮助用户快速部署本地大模型聊天服务，无需复杂配置即可通过web界面进行交互。

核心功能

1. 适配RK3588 NPU硬件加速，支持rknn-llm格式模型推理
2. 提供直观的web聊天界面，方便用户与大模型交互
3. 通过docker-compose快速部署，简化环境配置流程

使用场景

1. RK3588设备上的本地大模型部署与测试
2. 个人或小型团队的AI聊天应用开发
3. 边缘计算场景下的AI推理服务搭建

配置说明

1. 确认RKNPU驱动版本

RKLLM需要NPU内核版本≥v0.9.6，板端执行以下命令查询：

linux
cat /sys/kernel/debug/rknpu/version

若版本低于要求，可参考官方文档更新固件：https://github.com/airockchip/rknn-llm/blob/main/doc/Rockchip_RKLLM_SDK_CN.pdf%EF%BC%9BH88K_V1%E8%AE%BE%E5%A4%87%E5%8F%AF%E7%9B%B4%E6%8E%A5%E6%9B%B4%E6%96%B0%E5%9B%BA%E4%BB%B6%EF%BC%9Ahttps://github.com/wudingjian/armbian-h88k-images/releases/tag/20240917-2001

2. 下载rkllm模型

需自行下载rkllm格式模型（如Qwen2.5-3B.rkllm），可从以下链接获取：

• 百度网盘：https://pan.baidu.com/s/1kIxv488-0IiQdZgDpKO-cw?pwd=up1b%EF%BC%88%E6%8F%90%E5%8F%96%E7%A0%81%EF%BC%9Aup1b%EF%BC%89
• Hugging Face：https://huggingface.co/jsntwdj/rkllm 下载后将模型文件放入本地./model目录。

3. Docker部署示例

docker-compose.yml配置

docker
version: '3.8'

services:
  rkllm_server:
    image: docker.xuanyuan.run/jsntwdj/rkllm_chat:1.0.1
    container_name: rkllm_chat
    restart: unless-stopped
    privileged: true
    devices:
      - /dev:/dev
    volumes:
      - ./model:/rkllm_server/model  # 映射本地模型目录到容器
    ports:
      - "8080:8080" # 端口可自行修改
    command: >
      sh -c "python3 gradio_server.py --target_platform rk3588 --rkllm_model_path /rkllm_server/model/Qwen2.5-3B.rkllm" # 模型文件名需对应实际下载的文件

启动服务

linux
docker-compose up -d

4. 访问web界面

浏览器输入http://容器IP:8080即可进入聊天界面。

5. FAQ

常见问题可参考：https://github.com/wudingjian/rkllm_chat/issues