ollama-intel-docker

Ollama Intel Docker Docker 镜像

该Docker镜像提供基于Intel GPU加速的Ollama部署方案,结合ipex-llm后端与Open WebUI界面,支持Intel集成及专用GPU,方便本地运行大语言模型与视觉语言模型。

下载次数: 0状态:社区镜像维护者:dachack仓库类型:镜像最近更新:1 天前
下载命令
点击查看

基于Intel GPU的Ollama镜像

本镜像展示如何使用https://github.com/intel/ipex-llm作为加速后端运行https://github.com/ollama/ollama,兼容Intel集成GPU(iGPU)和专用GPU(如Arc、Flex、Max系列)。提供的`docker-compose.yml`包含针对Intel加速的Ollama补丁版本及必要参数设置,并集成Open WebUI界面以提升使用便利性。

核心功能

  1. 支持Intel iGPU和专用GPU加速Ollama模型推理
  2. 集成Open WebUI界面,提供友好的模型交互体验
  3. 预配置环境变量,简化Intel GPU部署流程
  4. 包含性能监控工具建议(如intel-gpu-top、btop++)
  5. 提供基准测试脚本,支持大语言模型(LLM)和视觉语言模型(VLM)性能评估

使用场景

  • 本地AI实验:在Intel设备上快速部署并运行大语言模型
  • 低功耗部署:利用Intel iGPU实现节能的本地模型服务
  • 性能测试:评估不同Intel GPU对各类模型的推理性能
  • 开发调试:通过Open WebUI快速验证模型效果

配置说明

环境参数调整

在docker-compose.yml文件中可调整以下关键参数:

  • 卷配置:设置数据和模型存储路径,建议使用高I/O速度的磁盘
  • 内存限制:通过mem_limit: "32G"限制服务内存使用
  • 设备选择:修改DEVICE变量指定专用GPU(默认使用iGPU)
  • GPU卸载:调整OLLAMA_NUM_GPU控制GPU资源分配
  • 上下文长度:设置OLLAMA_NUM_CTX调整模型默认上下文长度(默认8192)

性能优化建议

  1. CPU线程调优:若使用CPU推理,调整模型num_thread参数提升性能
  2. CPU核心绑定:通过cpuset选项将服务固定到特定CPU核心(如cpuset: "0-3")
  3. 使用优化模型:优先选择Unsloth等优化后的模型版本,提升推理速度

快速部署

前置条件

  1. 安装Intel固件(以Debian系系统为例):
bash
sudo apt-get install firmware-misc-nonfree firmware-intel-graphics
sudo update-initramfs -u -k all  # 内核更新后需重新执行
  1. 安装Docker和Docker Compose(参考官方文档)

部署命令

bash
docker compose build
docker compose up -d

访问http://127.0.0.1:18080即可使用带Intel加速的Ollama服务及Open WebUI界面。

性能监控

安装并使用intel-gpu-top监控GPU利用率:

bash
sudo apt install intel-gpu-tools
sudo intel_gpu_top

或编译支持Intel GPU的https://github.com/aristocratos/btop工具。

基准测试

提供scripts/benchmark.py脚本,支持评估OpenAI兼容API的token生成速度,包括LLM和VLM模型。测试结果基于Intel Ultra 5 125H Meteor Lake SoC(64GB RAM),可根据需求调整脚本参数以适配不同硬件环境。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 ollama-intel-docker 镜像标签

docker pull docker.xuanyuan.run/dachack/ollama-intel-docker:<标签>

DockerHub 原生拉取命令

docker pull dachack/ollama-intel-docker:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告