dustynv/llava Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

LLaVA Docker镜像文档

镜像概述

本镜像包含LLaVA视觉大型语言模型（Vision LLM），源自haotian-liu/LLaVA项目，专为Jetson平台优化。LLaVA支持图像理解与自然语言对话交互，可用于视觉问答、图像内容描述等多模态任务。最新版本为llava-1.5，文档中示例基于llava-llama-2系列模型，可替换为llava-1.5使用。通过jetson-ai-lab.com/tutorial_llava.html可了解如何结合text-generation-webui使用量化模型。

!LLaVA示例

核心功能与特性

• 视觉语言能力：支持图像输入与自然语言交互，实现图像理解与对话
• 模型兼容性：支持llava-llama-2系列（7B/13B）及最新llava-1.5模型
• Jetson平台优化：适配Jetson设备，依赖CUDA、cuDNN等加速环境
• HuggingFace集成：支持通过HuggingFace Hub加载模型，需访问令牌（部分模型）

使用场景

• Jetson设备上的实时图像理解任务
• 视觉问答（VQA）应用开发
• 多模态交互系统原型验证
• 边缘设备上的轻量化视觉语言模型部署

使用方法

模型要求与准备

llava-llama-2-7b-chat

该模型基于Llama-2-7b-chat的LoRA微调版本，需先申请Llama-2访问权限并获取HuggingFace访问令牌，或使用替代模型SaffalPoosh/llava-llama-2-7B-merged。

运行命令：

bash
./run.sh --env HUGGING_FACE_HUB_TOKEN=<你的访问令牌> $(./autotag llava) \
  python3 -m llava.serve.cli \
    --model-path liuhaotian/llava-llama-2-7b-chat-lightning-lora-preview \
    --model-base meta-llama/Llama-2-7b-chat-hf \
    --image-file /data/images/hoover.jpg

示例交互：

USER: 路标上写了什么？
ASSISTANT: 路标上写着"Hoover Dam"。

USER: 出口还有多远？
ASSISTANT: 出口还有1英里远。

USER: 周围环境如何？
ASSISTANT: 环境为沙漠地貌，有岩石景观和一条通往出口的土路。

llava-llama-2-13b-chat

运行命令：

bash
./run.sh $(./autotag llava) \
  python3 -m llava.serve.cli \
    --model-path liuhaotian/llava-llama-2-13b-chat-lightning-preview \
    --image-file /data/images/hoover.jpg

示例交互：

USER: 路标上的文字是什么？
ASSISTANT: 路标上的文字是"Hoover Dam Exit 2 Mile"。

USER: 出口还有多远？
ASSISTANT: 出口距离当前位置2英里。

USER: 这是什么样的环境？
ASSISTANT: 环境为沙漠场景，背景中有山脉。

容器信息

镜像信息

运行容器

bash
# 自动拉取或构建兼容的容器镜像
jetson-containers run $(autotag llava)

# 或显式指定上述镜像之一
jetson-containers run dustynv/llava:r36.2.0

# 或使用'docker run'（需指定镜像及挂载等参数）
sudo docker run --runtime nvidia -it --rm --network=host dustynv/llava:r36.2.0

bash
jetson-containers run -v /主机路径:/容器路径 $(autotag llava)

bash
jetson-containers run $(autotag llava) my_app --abc xyz

构建容器

bash
jetson-containers build llava