amperecomputingai/ollama

Ampere®优化的Ollama

Ampere®优化版https://github.com/ollama/ollama Docker镜像。

该镜像可在裸金属Ampere® CPU和云环境中基于Ampere®的VM上运行。

为获得最佳效果，建议使用Ampere HuggingFace页面提供的自定义量化格式模型：Ampere's HuggingFace页面。

镜像概述

本镜像作为原版Ollama镜像的直接替代品，在保持与原版功能和行为完全兼容的同时，提供性能优化。适用于需要在Ampere®硬件上部署高效LLM推理服务的场景。

核心功能与特性

• 性能优化：针对Ampere® CPU架构优化，推理速度提升
• 完全兼容：保留原版Ollama的所有功能和使用方式
• 新型量化支持：提供Q4_K_4和Q8R16两种新量化方法，与Q4_K和Q8_0相比，模型大小和困惑度相近，但推理速度提升1.5-2倍
• 灵活部署：支持通过Docker快速部署，兼容云环境和裸金属环境

使用场景

• 在Ampere® CPU或基于Ampere®的云VM上部署LLM推理服务
• 需要高效运行量化模型的AI应用场景
• 对推理性能有较高要求的自然语言处理任务

使用方法

启动服务器

console
docker run --privileged=true --name ollama -p 11434:11434 amperecomputingai/ollama:latest

使用模型

在另一个终端中执行：

console
docker exec -it ollama bash
ollama run hf.co/AmpereComputing/llama-3.2-3b-instruct-gguf:Llama-3.2-3B-Instruct-Q8R16.gguf

REST API调用

拉取模型：

console
curl http://localhost:11434/api/pull -d '{
  "model": "hf.co/AmpereComputing/llama-3.2-3b-instruct-gguf:Llama-3.2-3B-Instruct-Q8R16.gguf"
}'

生成文本：

console
curl http://localhost:11434/api/generate -d '{
  "model": "hf.co/AmpereComputing/llama-3.2-3b-instruct-gguf:Llama-3.2-3B-Instruct-Q8R16.gguf",
  "prompt":"为什么天空是蓝色的？"
}'

量化方法

下载预量化模型

Ampere®优化的Ollama支持Q4_K_4和Q8R16两种新量化方法，可从Ampere's HuggingFace页面下载预量化模型。

自定义量化模型

也可使用https://hub.docker.com/r/amperecomputingai/llama.cpp%E8%87%AA%E8%A1%8C%E9%87%8F%E5%8C%96%E6%A8%A1%E5%9E%8B%EF%BC%8C%E5%85%B7%E4%BD%93%E6%AD%A5%E9%AA%A4%E5%8F%82%E8%80%83https://github.com/AmpereComputingAI/llama.cpp/blob/main/README.md#quantization%E3%80%82

量化完成后，通过创建Modelfile在Ollama中使用：

FROM ./path/to/your/model.gguf

执行以下命令创建并运行模型：

console
ollama create my_model -f Modelfile
ollama run my_model

支持

如有问题，请联系：<***>

***声明

通过访问、下载或使用本软件及任何所需的依赖软件（"Ampere AI软件"），您同意Ampere AI软件许可协议的条款和条件，其中可能包括Ampere AI软件中包含的第三方软件的通知、免责声明或许可条款。详情请参阅Ampere AI软件EULA v1.6或其他类似名称的文本文件。