renezededa/open-webui

镜像概述

本镜像为Jetson Orin平台定制，集成了ollama和open-webui，旨在为Jetson Orin设备提供本地化的大语言模型部署与交互解决方案。通过整合ollama的模型管理与推理能力和open-webui的用户友好界面，实现便捷的本地AI应用开发与测试。

核心功能与特性

• 平台适配：针对Jetson Orin硬件架构优化，充分利用其GPU计算能力
• 组件集成：内置ollama（模型管理与推理引擎）和open-webui（Web交互界面）
• 本地化部署：支持完全离线运行，无需依赖外部服务
• 模型兼容性：兼容ollama生态的各类大语言模型（如Llama、Mistral等）
• Web界面：通过open-webui提供直观的图形化操作界面，简化模型交互流程

使用场景

• Jetson Orin平台上的本地大语言模型开发与测试
• 边缘AI应用构建，如智能设备本地推理、离线语音助手
• 低延迟要求的嵌入式AI系统部署
• 教学与研究场景中的本地模型实验环境搭建

使用方法

基本运行命令

bash
docker run -d \
  --name jetson-ollama-webui \
  --runtime nvidia \
  -p 3000:8080 \  # open-webui端口映射
  -v ollama-data:/root/.ollama \  # 模型数据持久化
  [镜像名称]:[标签]

参数说明

• --runtime nvidia：启用NVIDIA运行时，利用Jetson Orin GPU加速
• -p 3000:8080：将容器内open-webui的8080端口映射到主机3000端口
• -v ollama-data:/root/.ollama：挂载数据卷以持久化存储下载的模型文件

访问Web界面

容器启动后，通过浏览器访问 http://<Jetson Orin IP地址>:3000 即可打开open-webui界面，进行模型下载、对话交互等操作。

模型管理

通过open-webui界面或容器内命令行（docker exec -it jetson-ollama-webui ollama pull <模型名称>）下载所需模型，如：

bash
docker exec -it jetson-ollama-webui ollama pull llama2