Ollama Intel Docker Docker 镜像
dachack查看 Docker Hub 原文页
该Docker镜像提供基于Intel GPU加速的Ollama部署方案,结合ipex-llm后端与Open WebUI界面,支持Intel集成及专用GPU,方便本地运行大语言模型与视觉语言模型。
下载次数: 0状态:社区镜像维护者:dachack仓库类型:镜像最近更新:1 天前
基于Intel GPU的Ollama镜像
本镜像展示如何使用https://github.com/intel/ipex-llm作为加速后端运行https://github.com/ollama/ollama,兼容Intel集成GPU(iGPU)和专用GPU(如Arc、Flex、Max系列)。提供的`docker-compose.yml`包含针对Intel加速的Ollama补丁版本及必要参数设置,并集成Open WebUI界面以提升使用便利性。
核心功能
- 支持Intel iGPU和专用GPU加速Ollama模型推理
- 集成Open WebUI界面,提供友好的模型交互体验
- 预配置环境变量,简化Intel GPU部署流程
- 包含性能监控工具建议(如intel-gpu-top、btop++)
- 提供基准测试脚本,支持大语言模型(LLM)和视觉语言模型(VLM)性能评估
使用场景
- 本地AI实验:在Intel设备上快速部署并运行大语言模型
- 低功耗部署:利用Intel iGPU实现节能的本地模型服务
- 性能测试:评估不同Intel GPU对各类模型的推理性能
- 开发调试:通过Open WebUI快速验证模型效果
配置说明
环境参数调整
在docker-compose.yml文件中可调整以下关键参数:
- 卷配置:设置数据和模型存储路径,建议使用高I/O速度的磁盘
- 内存限制:通过
mem_limit: "32G"限制服务内存使用 - 设备选择:修改
DEVICE变量指定专用GPU(默认使用iGPU) - GPU卸载:调整
OLLAMA_NUM_GPU控制GPU资源分配 - 上下文长度:设置
OLLAMA_NUM_CTX调整模型默认上下文长度(默认8192)
性能优化建议
- CPU线程调优:若使用CPU推理,调整模型
num_thread参数提升性能 - CPU核心绑定:通过
cpuset选项将服务固定到特定CPU核心(如cpuset: "0-3") - 使用优化模型:优先选择Unsloth等优化后的模型版本,提升推理速度
快速部署
前置条件
- 安装Intel固件(以Debian系系统为例):
bashsudo apt-get install firmware-misc-nonfree firmware-intel-graphics sudo update-initramfs -u -k all # 内核更新后需重新执行
- 安装Docker和Docker Compose(参考官方文档)
部署命令
bashdocker compose build docker compose up -d
访问http://127.0.0.1:18080即可使用带Intel加速的Ollama服务及Open WebUI界面。
性能监控
安装并使用intel-gpu-top监控GPU利用率:
bashsudo apt install intel-gpu-tools sudo intel_gpu_top
或编译支持Intel GPU的https://github.com/aristocratos/btop工具。
基准测试
提供scripts/benchmark.py脚本,支持评估OpenAI兼容API的token生成速度,包括LLM和VLM模型。测试结果基于Intel Ultra 5 125H Meteor Lake SoC(64GB RAM),可根据需求调整脚本参数以适配不同硬件环境。
dachack 命名空间的其他可用镜像:
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 ollama-intel-docker 镜像标签
docker pull docker.xuanyuan.run/dachack/ollama-intel-docker:<标签>
DockerHub 原生拉取命令
docker pull dachack/ollama-intel-docker:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务