bergutman/ollama-rocm

ollama-rocm 🦙🪨

镜像概述

本镜像基于https://hub.docker.com/r/rocm/rocm-terminal%E6%9E%84%E5%BB%BA%EF%BC%8C%E9%9B%86%E6%88%90CLBlast%E5%BA%93%E5%92%8CGitHub%E7%94%A8%E6%88%B765A%E5%BC%80%E5%8F%91%E7%9A%84ROCm%E6%94%AF%E6%8C%81%E7%89%88Ollama%E5%88%86%E6%94%AF%EF%BC%8C%E6%97%A8%E5%9C%A8%E9%81%BF%E5%85%8D%E4%BE%9D%E8%B5%96%E5%86%B2%E7%AA%81%E9%97%AE%E9%A2%98%EF%BC%8C%E8%AE%A9%E7%94%A8%E6%88%B7%E5%9C%A8%E6%94%AF%E6%8C%81ROCm%E7%9A%84%E8%AE%BE%E5%A4%87%E4%B8%8A%E5%BF%AB%E9%80%9F%E8%BF%90%E8%A1%8COllama%E6%9C%8D%E5%8A%A1%E3%80%82%E5%AE%B9%E5%99%A8%E5%90%AF%E5%8A%A8%E6%97%B6%E8%87%AA%E5%8A%A8%E6%89%A7%E8%A1%8C%60ollama serve`，并暴露***端口供API访问。

核心功能

1. ROCm环境支持：适配AMD ROCm生态，可在兼容的AMD GPU设备上运行Ollama大模型；
2. 自动服务启动：容器启动后自动启动Ollama服务，无需手动操作；
3. API暴露：默认开放***端口，支持通过API调用Ollama功能；
4. 持久化存储：支持通过Docker卷保存Ollama模型数据，确保容器重启后数据不丢失；
5. 依赖简化：集成所需组件，避免用户手动解决复杂的依赖问题。

使用场景

1. 在支持ROCm的AMD GPU设备上部署Ollama大模型服务；
2. 开发基于Ollama API的AI应用或工具；
3. 测试不同大模型在ROCm环境下的运行效果；
4. 需要持久化存储模型数据的场景。

配置说明

内核要求

请按照您的操作系统指南启用ROCm内核支持，多数发行版会提供rocminfo和rocm-smi工具。可参考https://wiki.gentoo.org/wiki/ROCm#Kernel_requirements%EF%BC%88%E9%80%82%E7%94%A8%E4%BA%8E%E5%A4%9A%E6%95%B0%E5%8F%91%E8%A1%8C%E7%89%88%EF%BC%89%E3%80%82

部署示例

Docker Compose配置

首先拉取镜像：docker pull bergutman/ollama-rocm:latest
创建持久化卷：docker volume create ollama_data
使用以下docker-compose.yml启动容器：

yaml
version: '3.8'
services:
  ollama-service:
    image: bergutman/ollama-rocm:latest
    container_name: ollama-rocm
    restart: unless-stopped
    ports:
      - "11434:11434"
    devices:
      - "/dev/kfd:/dev/kfd"
      - "/dev/dri:/dev/dri"
    group_add:
      - video
    stdin_open: true
    tty: true
    volumes:
      - ollama_data:/usr/share/ollama

volumes:
  ollama_data:
    external: true

启动容器：docker-compose up -d

服务访问

• API访问：容器运行后，可通过主机的***端口访问Ollama API；
• 容器内操作：通过docker exec -it ollama-rocm bash进入容器终端，直接使用Ollama命令。

持久化存储说明

镜像默认使用ollama_data卷存储/usr/share/ollama目录下的模型数据，确保容器重启后数据不丢失。您也可以在Compose文件中指定本地路径替代卷。

问题与贡献

注意：本镜像维护者并非Ollama或65A的ROCm分支作者。
若遇到镜像相关问题或有建议，可发送邮件至***，或在Ollama GitHub仓库的https://github.com/jmorganca/ollama/issues/738%E4%B8%AD%E7%95%99%E8%A8%80%E3%80%82

许可证

遵循Ollama原项目使用的许可证。