iknowdotdev/embedding

OpenAI兼容嵌入API镜像

镜像概述

该镜像提供OpenAI兼容的嵌入(embeddings)API服务，支持在运行时动态加载Hugging Face Hub模型或本地路径模型，无需重新构建镜像即可灵活切换模型，为本地开发、模型测试和隐私保护场景提供便捷的嵌入服务解决方案。

核心功能与特性

• OpenAI API兼容性：提供与OpenAI嵌入API一致的接口规范，可直接替换现有基于OpenAI API的嵌入服务调用
• 模型来源灵活性：支持两种模型加载方式，可从Hugging Face Hub下载模型或使用本地预下载的模型文件
• 运行时动态配置：无需重新构建镜像，通过环境变量在启动时指定模型来源，实现模型快速切换
• 轻量级部署：容器化设计，简化部署流程，支持CPU/GPU运行环境

使用场景与适用范围

• 本地开发与测试：在无网络或离线环境中快速搭建嵌入服务，验证应用功能
• 模型评估对比：便捷测试不同Hugging Face嵌入模型的性能与效果
• 隐私敏感场景：本地部署避免数据发送至第三方API，保护敏感数据处理安全
• 低成本替代方案：无需依赖OpenAI API，降低嵌入服务使用成本

使用方法与配置说明

基本部署（Docker Run）

使用Hugging Face模型

bash
docker run -d -p 8000:8000 -e MODEL_NAME=BAAI/bge-base-en-v1.5 --name embedding-api your-image-name

使用本地模型

bash
docker run -d -p 8000:8000 \
  -v /path/to/local/model:/app/local-model \
  -e MODEL_PATH=/app/local-model \
  --name embedding-api your-image-name

Docker Compose配置示例

yaml
version: '3'
services:
  embedding-api:
    image: your-image-name
    ports:
      - "8000:8000"
    environment:
      - MODEL_NAME=BAAI/bge-large-en-v1.5  # 或使用 MODEL_PATH=/app/model
      - PORT=8000
      - DEVICE=cpu  # 若支持GPU可设置为cuda
    volumes:
      - ./local-model:/app/model  # 本地模型时挂载
    restart: unless-stopped

环境变量配置说明

API调用示例

与OpenAI嵌入API完全兼容，可使用相同的调用方式：

python
import openai

# 配置API基础地址
openai.api_base = "http://localhost:8000/v1"

# 调用嵌入API
response = openai.Embedding.create(
    input="这是一个测试文本",
    model="BAAI/bge-base-en-v1.5"  # 需与启动时指定的模型名称一致
)

# 获取嵌入结果
embedding = response['data'][0]['embedding']
print(f"嵌入向量维度: {len(embedding)}")