Ollama 使用指南

容器信息 镜像信息 运行容器 构建容器

• 本文介绍的 Ollama 来自 GitHub 仓库，已启用 CUDA 支持（可执行文件路径 /bin/ollama）。
• 感谢 @remy415 实现了 Ollama 在 Jetson 上的运行并提供 Dockerfile（PR #465）。

Ollama 服务端部署

首先，通过以下任一方式在后台启动本地 Ollama 服务端（守护进程）：

# 模型缓存路径：jetson-containers/data
jetson-containers run --name ollama $(autotag ollama)

# 模型缓存路径：用户主目录
docker run --runtime nvidia -it --rm --network=host -v ~/ollama:/ollama -e OLLAMA_MODELS=/ollama dustynv/ollama:r36.2.0

服务端启动后，可在同一容器内或其他容器中运行 Ollama 客户端。ollama 容器的默认启动命令为 /start_ollama，该脚本会在后台启动服务端并释放终端控制权。服务端日志保存在挂载的 jetson-containers/data/logs 目录，方便在容器外查看。

通过环境变量 $OLLAMA_MODELS 可自定义模型下载路径（如上述示例）。默认情况下，模型会保存在 jetson-containers/data/models/ollama 目录，该路径由 jetson-containers run 自动挂载。

Ollama 客户端使用

使用 Ollama 命令行界面（CLI）加载目标模型（例如 mistral 7b）：

场景 1：在服务端容器内运行

/bin/ollama run mistral

场景 2：在新容器中运行（另一个终端）

jetson-containers run $(autotag ollama) /bin/ollama run mistral

!Ollama CLI 演示

场景 3：在容器外运行客户端

可在容器外安装 arm64 架构的 Ollama 二进制文件（无需 CUDA，仅服务端依赖 CUDA）：

# 下载最新 arm64 版本 Ollama 到 /bin 目录
sudo wget [***] ls-remote --refs --sort="version:refname" --tags [***] | cut -d/ -f3- | sed 's/-rc.*//g' | tail -n1)/ollama-linux-arm64 -O /bin/ollama
sudo chmod +x /bin/ollama

# 直接运行客户端（容器外）
/bin/ollama run mistral

Open WebUI 部署

如需通过浏览器访问 Ollama，可部署 Open WebUI 服务：

docker run -it --rm --network=host --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main

部署后，在浏览器中访问 `[] WebUI 界面]([])

内存占用参考

# 自动拉取/构建兼容镜像
jetson-containers run $(autotag ollama)

# 显式指定镜像版本
jetson-containers run dustynv/ollama:r35.4.1

# 使用 docker run 命令（需手动指定镜像及挂载）
sudo docker run --runtime nvidia -it --rm --network=host dustynv/ollama:r35.4.1

jetson-containers run -v /本地路径:/容器内路径 $(autotag ollama)

jetson-containers run $(autotag ollama) 目标命令 --参数

jetson-containers build ollama