diphyx/ollama

Ollama 镜像文档

镜像概述

Ollama 是一个用于在自托管基础设施上部署大型语言模型（LLM）的Docker镜像，提供直观的Web UI，方便用户管理和使用语言模型。

核心功能与特性

• 多模型支持：内置多种预配置模型选项，覆盖不同尺寸和应用场景
• 灵活配置：支持通过环境变量自定义启动模型和数据存储路径
• Web UI管理：提供直观的Web界面，简化模型部署和管理流程
• 数据持久化：通过卷挂载实现模型数据和配置的持久化存储

使用场景

• 企业或个人需要在本地环境部署私有大型语言模型
• 开发人员测试和评估不同LLM模型的性能
• 对数据隐私有较高要求，需在自托管基础设施上运行LLM的场景

使用方法

快速启动

使用以下命令快速启动Ollama容器：

bash
docker run -it --rm --name ollama -p 8080:8080 diphyx/ollama:latest

Docker Compose配置

以下是使用Docker Compose部署的示例配置：

yaml
name: ollama
services:
    instance:
        image: diphyx/ollama:latest
        environment:
            - STARTUP_MODEL=smollm2:135m  # 启动模型，默认smollm2:135m
            - DXF_PROXY_PREFIX={{ CONTAINER_ID }}
            - DXF_PROXY_MAIN_PORT=8080
        volumes:
            - /volume:/volume  # 数据持久化卷

配置参数

环境变量

STARTUP_MODEL可选值

卷配置

注意事项

• 该镜像仅在 DiPhyx平台 上工作，不支持其他环境。
• 启动前需确保宿主机有足够的存储空间和内存以运行所选模型。