scratchy/ollama

scratchy/ollama 镜像文档

镜像概述和主要用途

scratchy/ollama是一个基于NVIDIA CUDA 12.4.1和Ubuntu 22.04的Docker镜像，用于在GPU容器环境中运行Ollama。Ollama是一款轻量级工具，用于部署和运行大型语言模型（LLM）。该镜像预配置了CUDA支持，确保Ollama能够利用GPU加速，适用于需要本地部署AI模型的场景。

核心功能和特性

• CUDA支持：基于NVIDIA CUDA 12.4.1基础镜像，原生支持GPU加速，提升模型运行性能
• 预配置环境：内置Ollama及依赖组件（curl、ca-certificates、zstd等），开箱即用
• 环境变量配置：支持通过环境变量自定义Ollama绑定地址和上下文窗口大小
• 自动启动：通过entrypoint.sh脚本自动启动Ollama服务，并验证服务可用性
• 端口暴露：默认暴露***端口，提供Ollama API访问

使用场景和适用范围

• 本地部署大型语言模型（如Llama、Mistral等）
• 开发和测试基于Ollama的AI应用
• 需要GPU加速的LLM推理服务
• 构建AI模型服务原型

详细使用方法和配置说明

基本使用

通过以下命令启动容器，利用所有GPU资源并映射***端口：

bash
docker run --gpus all -p 11434:11434 scratchy/ollama

环境变量配置

示例：自定义上下文窗口大小

bash
docker run --gpus all -p 11434:11434 -e OLLAMA_CONTEXT_LENGTH=32768 scratchy/ollama

Docker Compose配置示例

创建docker-compose.yml文件：

yaml
version: '3.8'
services:
  ollama:
    image: scratchy/ollama
    runtime: nvidia
    ports:
      - "11434:11434"
    environment:
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_CONTEXT_LENGTH=65536
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

容器启动流程

容器启动时，entrypoint.sh脚本会执行以下步骤：

1. 生成唯一节点ID
2. 导出环境变量到/etc/environment
3. 启动Ollama服务并等待其可用（最多30次尝试，每次间隔3秒）
4. 执行用户提供的额外命令（如果有）
5. 保持容器运行，等待Ollama进程

注意事项

• 确保主机已安装NVIDIA Docker运行时（nvidia-container-runtime）
• 运行容器时需添加--gpus all或指定GPU设备，以启用GPU支持
• 首次启动时，Ollama可能需要下载模型文件，建议确保网络通畅