mitakad/open-webui

Open WebUI with Ollama (Jetson Orin支持) 镜像文档

镜像概述

本镜像集成了https://github.com/open-webui/open-webui%E4%B8%8Ehttps://github.com/ollama/ollama%EF%BC%8C%E4%B8%93%E4%B8%BAJetson AGX Orin平台（SM 87架构）构建。基于https://github.com/dusty-nv/jetson-containers%E9%A1%B9%E7%9B%AE%E4%B8%AD%E7%9A%84Dockerfile%E6%9E%84%E5%BB%BA%EF%BC%8C%E6%8F%90%E4%BE%9B%E4%BA%86%E4%B8%80%E4%B8%AA%E5%AE%8C%E6%95%B4%E7%9A%84Web%E7%95%8C%E9%9D%A2%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%BA%A4%E4%BA%92%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%EF%BC%8C%E6%94%AF%E6%8C%81%E5%9C%A8Jetson%E8%AE%BE%E5%A4%87%E4%B8%8A%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8C%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E3%80%82

核心功能与特性

• Web界面支持：通过Open WebUI提供直观的浏览器界面，方便与大语言模型交互
• Ollama集成：内置Ollama运行时，支持加载和管理多种大语言模型
• Jetson Orin优化：针对Jetson AGX Orin GPU（SM 87）进行构建优化，充分利用硬件性能
• 数据持久化：支持挂载主机目录保存数据库和配置，确保数据不丢失
• 灵活配置：可通过环境变量自定义Ollama运行参数（如连接保持时间、上下文长度等）

使用场景

• Jetson Orin设备上的本地大语言模型部署与交互
• 开发和测试大语言模型应用
• 构建离线或本地网络环境下的AI助手服务
• 教育和研究场景中的大语言模型实践平台

使用方法

构建说明

构建命令（需在jetson-containers环境中执行）：

bash
ENABLE_DISTRIBUTED_JETSON_NCCL=1 \
PYTORCH_FORCE_BUILD=on \
LSB_RELEASE=24.04 \
CUDA_VERSION=12.9 \
PYTHON_VERSION=3.12 \
PYTORCH_VERSION=2.9.1 \
USE_OLLAMA=on \
jetson-containers build open-webui

运行命令示例

bash
jetson-containers run -v /path/to/your/open-webui/persistent/dir:/app/backend/data IMAGE_NAME_GOES_HERE

参数说明：

• -v /path/to/your/open-webui/persistent/dir:/app/backend/data：将主机目录挂载到容器内，用于持久化存储数据库和配置文件
• 可添加额外环境变量，如-e OLLAMA_KEEP_ALIVE=15m（设置连接保持时间为15分钟）或-e OLLAMA_CONTEXT_LENGTH=32000（设置上下文长度为32000）

访问方式

容器启动后，通过浏览器访问：http://<jetson-ip>:8080，其中<jetson-ip>为Jetson设备的IP地址。

配置说明

可通过环境变量自定义Ollama和Open WebUI的运行参数，常用参数包括：

• OLLAMA_KEEP_ALIVE：设置模型实例保持活跃的时间（如15m表示15分钟）
• OLLAMA_CONTEXT_LENGTH：设置模型上下文长度（如32000）
• 其他Open WebUI配置参数可参考https://github.com/open-webui/open-webui