vndr/ollama

Ollama Jetson AGX Orin 临时镜像

镜像概述

该镜像为在Jetson AGX Orin设备上运行Ollama的临时解决方案，主要用于解决官方镜像中缺失/data/logs目录的问题。支持CUDA 12.2、L4T 36.3.0、JetPack 6.0及nvidia-smi 540.3.0版本，确保在Jetson AGX Orin硬件上的兼容性和稳定性。

核心功能和特性

• 硬件适配：专为Jetson AGX Orin设备优化，充分利用其硬件资源
• 版本兼容性：支持CUDA 12.2、L4T 36.3.0、JetPack 6.0和nvidia-smi 540.3.0
• 问题修复：解决了官方镜像中缺失/data/logs目录的bug
• 数据持久化：支持通过卷挂载持久化Ollama数据
• 网络暴露：默认暴露Ollama服务端口***，便于外部访问

使用场景和适用范围

• Jetson AGX Orin设备上部署和运行Ollama
• 需要在边缘计算环境中使用大语言模型的场景
• 对硬件资源有较高要求的AI应用开发和测试

使用方法和配置说明

运行现有镜像

使用以下命令直接运行预构建的镜像：

bash
docker run -d \
  --runtime nvidia \
  -v [本地目录]/home/ollama:/root/.ollama \  # 挂载本地目录以持久化Ollama数据
  -e OLLAMA_MODELS=/root/.ollama \          # 设置模型存储路径环境变量
  -p 11434:11434 \                          # 映射Ollama服务端口
  --name ollama \                           # 容器名称
  vndr/ollama:r36.3.0                       # 镜像名称及标签

说明：将[本地目录]替换为实际的本地路径，用于存储Ollama数据和模型。

构建并更新镜像

由于L4T 36.2.0版本存在兼容性问题，如需更新容器，需自行构建镜像：

1. 克隆jetson-containers仓库：

   bash
   git clone https://github.com/dusty-nv/jetson-containers.git
   

2. 按照仓库说明安装jetson-containers环境

3. 进入Ollama包目录：

   bash
   cd jetson-containers/packages/llm/ollama
   

4. 修改配置文件：

   • 编辑config.py，设置所需的版本信息
   • 编辑Dockerfile，修复缺失日志目录的问题（添加日志目录创建命令）

5. 构建镜像：

   bash
   jetson-containers build ollama
   

6. 测试构建的镜像：

   bash
   docker run -d \
     --runtime nvidia \
     -v /home/ollama:/root/.ollama \
     -e OLLAMA_MODELS=/root/.ollama \
     -p 11434:11434 \
     --name ollama \
     ollama:r36.3.0
   

配置参数说明