ai/embeddinggemma Docker 镜像 - 轩辕镜像

Embedding Gemma

!logo

Embedding Gemma是Google DeepMind推出的最先进文本嵌入模型，旨在创建高质量的文本向量表示。该模型基于Gemma架构构建，能将文本转换为捕获语义含义的密集向量嵌入，非常适合检索增强生成(RAG)、语义搜索和相似性任务。凭借开放权重和高效设计，Embedding Gemma为基于嵌入的应用提供了强大基础。GGUF格式版本由Unsloth提供。

预期用途

Embedding Gemma专为需要高质量文本嵌入的应用设计：

• 语义搜索和检索：非常适合构建搜索系统、文档检索和RAG应用，这些应用需要找到语义相关的内容。
• 文本相似性和聚类：生成用于测量文本相似性、文档聚类和内容去重任务的嵌入。
• 分类和下游任务：将嵌入作为各种NLP分类任务和机器学习管道的输入特征。

特性

可用模型变体

¹: 显存基于模型特性估算。

latest → 300M-Q8_0

使用Docker Model Runner运行此AI模型

首先，拉取模型：

bash
docker model pull ai/embeddinggemma

然后运行模型：

bash
docker model run ai/embeddinggemma

使用API生成嵌入：

bash
curl --location 'http://localhost:***/engines/llama.cpp/v1/embeddings' \
--header 'Content-Type: application/json' \
--data '{
    "model": "ai/embeddinggemma",
    "input": "Your text to embed here"
  }'

有关Docker Model Runner的更多信息，请浏览文档。

注意事项

• 上下文长度：模型支持最多2K tokens。较长文本可能需要分块以获得最佳性能。
• 语言支持：主要针对英语文本训练，在其他语言上的性能可能有所不同。
• 嵌入维度：模型生成768维嵌入，适用于大多数下游任务。
• 归一化：嵌入默认已归一化，适合余弦相似度计算。

基准性能

链接

• Embedding Gemma模型卡片
• Unsloth GGUF版本
• Gemma模型系列
• Gemma使用条款