热门搜索:
dustynv/llava
dustynv
LLaVA视觉大型语言模型Docker镜像，基于haotian-liu/LLaVA项目，适用于Jetson平台，支持图像理解与对话交互，可通过text-generation-webui使用量化模型，最新版本为llava-1.5。
2 次收藏下载次数: 0状态：社区镜像维护者：dustynv仓库类型：镜像最近更新：2 年前
LLaVA Docker镜像文档
镜像概述
本镜像包含LLaVA视觉大型语言模型（Vision LLM），源自https://github.com/haotian-liu/LLaVA%E9%A1%B9%E7%9B%AE%EF%BC%8C%E4%B8%93%E4%B8%BAJetson%E5%B9%B3%E5%8F%B0%E4%BC%98%E5%8C%96%E3%80%82LLaVA%E6%94%AF%E6%8C%81%E5%9B%BE%E5%83%8F%E7%90%86%E8%A7%A3%E4%B8%8E%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%AF%B9%E8%AF%9D%E4%BA%A4%E4%BA%92%EF%BC%8C%E5%8F%AF%E7%94%A8%E4%BA%8E%E8%A7%86%E8%A7%89%E9%97%AE%E7%AD%94%E3%80%81%E5%9B%BE%E5%83%8F%E5%86%85%E5%AE%B9%E6%8F%8F%E8%BF%B0%E7%AD%89%E5%A4%9A%E6%A8%A1%E6%80%81%E4%BB%BB%E5%8A%A1%E3%80%82%E6%9C%80%E6%96%B0%E7%89%88%E6%9C%AC%E4%B8%BA%60llava-1.5%60%EF%BC%8C%E6%96%87%E6%A1%A3%E4%B8%AD%E7%A4%BA%E4%BE%8B%E5%9F%BA%E4%BA%8E%60llava-llama-2%60%E7%B3%BB%E5%88%97%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%8F%AF%E6%9B%BF%E6%8D%A2%E4%B8%BA%60llava-1.5%60%E4%BD%BF%E7%94%A8%E3%80%82%E9%80%9A%E8%BF%87jetson-ai-lab.com/tutorial_llava.html%E5%8F%AF%E4%BA%86%E8%A7%A3%E5%A6%82%E4%BD%95%E7%BB%93%E5%90%88text-generation-webui%E4%BD%BF%E7%94%A8%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%E3%80%82
!https://github.com/dusty-nv/jetson-containers/raw/master/data/images/hoover.jpg
核心功能与特性
- 视觉语言能力：支持图像输入与自然语言交互，实现图像理解与对话
- 模型兼容性：支持
llava-llama-2系列（7B/13B）及最新llava-1.5模型 - Jetson平台优化：适配Jetson设备，依赖CUDA、cuDNN等加速环境
- HuggingFace集成：支持通过HuggingFace Hub加载模型，需访问令牌（部分模型）
使用场景
- Jetson设备上的实时图像理解任务
- 视觉问答（VQA）应用开发
- 多模态交互系统原型验证
- 边缘设备上的轻量化视觉语言模型部署
使用方法
模型要求与准备
llava-llama-2-7b-chat
该模型基于Llama-2-7b-chat的LoRA微调版本，需先申请Llama-2访问权限并获取HuggingFace访问令牌，或使用替代模型SaffalPoosh/llava-llama-2-7B-merged。
运行命令：
bash./run.sh --env HUGGING_FACE_HUB_TOKEN=<你的访问令牌> $(./autotag llava) \ python3 -m llava.serve.cli \ --model-path liuhaotian/llava-llama-2-7b-chat-lightning-lora-preview \ --model-base meta-llama/Llama-2-7b-chat-hf \ --image-file /data/images/hoover.jpg
示例交互：
USER: 路标上写了什么？ ASSISTANT: 路标上写着"Hoover Dam"。 USER: 出口还有多远？ ASSISTANT: 出口还有1英里远。 USER: 周围环境如何？ ASSISTANT: 环境为沙漠地貌，有岩石景观和一条通往出口的土路。
llava-llama-2-13b-chat
运行命令：
bash./run.sh $(./autotag llava) \ python3 -m llava.serve.cli \ --model-path liuhaotian/llava-llama-2-13b-chat-lightning-preview \ --image-file /data/images/hoover.jpg
示例交互：
USER: 路标上的文字是什么？ ASSISTANT: 路标上的文字是"Hoover Dam Exit 2 Mile"。 USER: 出口还有多远？ ASSISTANT: 出口距离当前位置2英里。 USER: 这是什么样的环境？ ASSISTANT: 环境为沙漠场景，背景中有山脉。
容器信息
容器详情
llava | 说明 |
|---|---|
| 构建状态 | |
| 系统要求 | L4T ['>=34.1.0'] |
| 依赖项 | https://github.com/dusty-nv/jetson-containers/tree/master/packages/build/build-essential https://github.com/dusty-nv/jetson-containers/tree/master/packages/cuda/cuda https://github.com/dusty-nv/jetson-containers/tree/master/packages/cuda/cudnn https://github.com/dusty-nv/jetson-containers/tree/master/packages/build/python https://github.com/dusty-nv/jetson-containers/tree/master/packages/numpy https://github.com/dusty-nv/jetson-containers/tree/master/packages/build/cmake/cmake_pip https://github.com/dusty-nv/jetson-containers/tree/master/packages/onnx https://github.com/dusty-nv/jetson-containers/tree/master/packages/pytorch https://github.com/dusty-nv/jetson-containers/tree/master/packages/pytorch/torchvision https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/huggingface_hub https://github.com/dusty-nv/jetson-containers/tree/master/packages/build/rust https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/transformers |
| Dockerfile | https://github.com/dusty-nv/jetson-containers/tree/master/packages/llm/llava/Dockerfile |
| 镜像列表 | https://hub.docker.com/r/dustynv/llava/tags (2023-12-15, 6.3GB)https://hub.docker.com/r/dustynv/llava/tags (2023-12-12, 6.3GB)https://hub.docker.com/r/dustynv/llava/tags (2023-12-14, 6.3GB)https://hub.docker.com/r/dustynv/llava/tags (2023-12-18, 8.0GB) |
镜像信息
容器镜像
| 仓库/标签 | 日期 | 架构 | 大小 |
|---|---|---|---|
| https://hub.docker.com/r/dustynv/llava/tags | 2023-12-15 | arm64 | 6.3GB |
| https://hub.docker.com/r/dustynv/llava/tags | 2023-12-12 | arm64 | 6.3GB |
| https://hub.docker.com/r/dustynv/llava/tags | 2023-12-14 | arm64 | 6.3GB |
| https://hub.docker.com/r/dustynv/llava/tags | 2023-12-18 | arm64 | 8.0GB |
容器镜像与其他JetPack/L4T次要版本兼容：
• L4T R32.7容器可在其他L4T R32.7版本（JetPack 4.6+）上运行
• L4T R35.x容器可在其他L4T R35.x版本（JetPack 5.1+）上运行
运行容器
运行容器
要启动容器，可使用https://github.com/dusty-nv/jetson-containers/tree/master/docs/run.md%E5%92%8Chttps://github.com/dusty-nv/jetson-containers/tree/master/docs/run.md#autotag%EF%BC%8C%E6%88%96%E6%89%8B%E5%8A%A8%E6%9E%84%E5%BB%BA%60docker run`命令：
bash# 自动拉取或构建兼容的容器镜像 jetson-containers run $(autotag llava) # 或显式指定上述镜像之一 jetson-containers run dustynv/llava:r36.2.0 # 或使用'docker run'（需指定镜像及挂载等参数） sudo docker run --runtime nvidia -it --rm --network=host dustynv/llava:r36.2.0
https://github.com/dusty-nv/jetson-containers/tree/master/docs/run.md%E5%B0%86%E5%8F%82%E6%95%B0%E8%BD%AC%E5%8F%91%E7%BB%99%60docker run
，并添加一些默认配置（如--runtime nvidia、挂载/data`缓存、检测设备）
https://github.com/dusty-nv/jetson-containers/tree/master/docs/run.md#autotag%E4%BC%9A%E6%9F%A5%E6%89%BE%E4%B8%8E%E4%BD%A0%E7%9A%84JetPack/L4T%E7%89%88%E6%9C%AC%E5%85%BC%E5%AE%B9%E7%9A%84%E5%AE%B9%E5%99%A8%E9%95%9C%E5%83%8F%E2%80%94%E2%80%94%E6%9C%AC%E5%9C%B0%E9%95%9C%E5%83%8F%E3%80%81%E4%BB%8E%E4%BB%93%E5%BA%93%E6%8B%89%E5%8F%96%E6%88%96%E6%9E%84%E5%BB%BA%E6%96%B0%E9%95%9C%E5%83%8F%E3%80%82
要将本地目录挂载到容器中，使用-v或--volume标志：
bashjetson-containers run -v /主机路径:/容器路径 $(autotag llava)
要启动容器并运行命令（而非交互式shell）：
bashjetson-containers run $(autotag llava) my_app --abc xyz
你可以传递任何docker run支持的选项，命令执行前会打印完整构建的命令。
构建容器
构建容器
如果使用上述https://github.com/dusty-nv/jetson-containers/tree/master/docs/run.md#autotag%EF%BC%8C%E5%BF%85%E8%A6%81%E6%97%B6%E4%BC%9A%E8%87%AA%E5%8A%A8%E6%9E%84%E5%BB%BA%E5%AE%B9%E5%99%A8%E3%80%82%E8%8B%A5%E9%9C%80%E6%89%8B%E5%8A%A8%E6%9E%84%E5%BB%BA%EF%BC%8C%E5%85%88%E5%AE%8C%E6%88%90https://github.com/dusty-nv/jetson-containers/tree/master/docs/setup.md%EF%BC%8C%E7%84%B6%E5%90%8E%E8%BF%90%E8%A1%8C%EF%BC%9A
bashjetson-containers build llava
构建过程中会集成上述依赖项并进行测试。使用https://github.com/dusty-nv/jetson-containers/tree/master/jetson_containers/build.py%E6%9F%A5%E7%9C%8B%E6%9E%84%E5%BB%BA%E9%80%89%E9%A1%B9%E3%80%82
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull dustynv/llava:<标签>
更多 llava 镜像推荐
dustynv/ros
dustynv
为NVIDIA Jetson平台提供预配置的ROS环境，支持机器人应用的快速开发、部署与运行，适配Jetson硬件加速能力。
22 次收藏10万+ 次下载
1 年前更新
dustynv/ollama
dustynv
GitHub仓库dusty-nv/jetson-containers中的Ollama LLM包，是为NVIDIA Jetson嵌入式平台设计的容器化解决方案，旨在简化大型语言模型（LLM）的部署与运行流程，支持多种主流LLM模型，充分利用Jetson设备的硬件加速能力，适用于边缘AI计算、智能终端开发等场景，为开发者提供便捷高效的本地化LLM部署工具。
8 次收藏10万+ 次下载
10 个月前更新
dustynv/nano_llm
dustynv
用于在NVIDIA Jetson边缘设备上部署和运行大语言模型的Docker镜像，针对嵌入式硬件优化，支持本地高效推理。
5万+ 次下载
1 年前更新
dustynv/jetson-inference
dustynv
jetson-inference是为NVIDIA Jetson平台设计的深度学习推理容器，集成CUDA、PyTorch、TensorRT、OpenCV等关键依赖，支持多种JetPack/L4T版本，便于快速部署和运行计算机视觉等推理任务。
16 次收藏5万+ 次下载
1 年前更新
dustynv/llama_cpp
dustynv
包含llama.cpp（启用CUDA支持）和llama-cpp-python的Docker镜像，支持GGUF/GGML模型格式，适用于本地大语言模型推理任务。
5 次收藏5万+ 次下载
12 个月前更新
dustynv/vllm
dustynv
NVIDIA Jetson 平台优化的大语言模型推理服务框架
5 次收藏5万+ 次下载
10 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"