crunchr/embedding-service

Serve

镜像概述和主要用途

本镜像使用LitServe构建文本嵌入模型服务，提供OpenAI兼容API接口，支持文本嵌入的生成与获取。开发和测试流程完全基于Docker驱动，可快速部署和集成到各类需要文本嵌入功能的应用中。

核心功能和特性

• OpenAI兼容API：提供与OpenAI Embeddings API一致的接口规范，便于现有OpenAI客户端直接迁移使用
• 文本嵌入生成：支持对单条或多条文本生成嵌入向量
• 轻量级部署：通过SlimToolkit可构建优化镜像（约4GB，相比基础镜像减少约8GB）
• 健康检查：内置健康检查端点，便于监控服务状态
• 灵活启动模式：支持即时启动（HOT_STANDBY模式）和按需启动（通过SOCKET_ACTIVATE配置）

使用场景和适用范围

• 需要文本嵌入功能的自然语言处理（NLP）应用
• 构建基于向量检索的搜索引擎或推荐系统
• 开发需要嵌入向量计算的AI应用原型
• 企业内部文本分析和处理服务

详细使用方法和配置说明

快速开始

使用SlimToolkit构建优化镜像

通过https://github.com/slimtoolkit/slim%E5%88%9B%E5%BB%BA%E7%94%9F%E4%BA%A7%E7%BA%A7%E4%BC%98%E5%8C%96%E9%95%9C%E5%83%8F%EF%BC%88%E7%BA%A64GB%EF%BC%8C%E8%80%8C%E9%9D%9E%E5%9F%BA%E7%A1%80%E9%95%9C%E5%83%8F%E7%9A%8412GB%EF%BC%89%EF%BC%9A

sh
./slim-build.sh

此脚本会自动构建基础镜像、创建优化版本并进行测试。

手动构建

sh
docker compose build

运行容器

sh
docker compose up

服务默认以HOT_STANDBY模式立即启动。如需启用按需启动（socket激活），设置环境变量：

sh
SOCKET_ACTIVATE=1

使用嵌入功能

可通过curl调用OpenAI兼容API获取单条或多条文本的嵌入向量：

sh
curl -X POST "http://localhost:8080/v1/embeddings" \
    -H "Content-Type: application/json" \
    -d '{
      "input": ["Hello world", "Foo Bar"],
      "model": "NoInstruct-small-Embedding-v0",
      "encoding_format": "float"
    }'

响应格式与OpenAI一致：

json
{
  "data": [
    {"index": 0, "embedding": [...], "object": "embedding"},
    {"index": 1, "embedding": [...], "object": "embedding"}
  ],
  "model": "NoInstruct-small-Embedding-v0",
  "object": "list",
  "usage": {"prompt_tokens": 0, "total_tokens": 0}
}

API端点

• POST /v1/embeddings：生成输入文本的嵌入向量
  • 请求参数：
    • input：必填，字符串或字符串数组，需生成嵌入的文本
    • model：必填，模型名称（如"NoInstruct-small-Embedding-v0"）
    • encoding_format：可选，嵌入向量格式，支持"float"（默认）
• GET /health：服务健康检查端点，返回200表示服务正常

发布到镜像仓库

将优化后的镜像标记并推送到私有或公共镜像仓库：

sh
# 标记版本
docker tag embedding-service:slim crunchr/embedding-service:0.3
# 推送版本
docker push crunchr/embedding-service:0.3
# 标记为最新版本
docker tag embedding-service:slim crunchr/embedding-service:latest
# 推送最新版本
docker push crunchr/embedding-service:latest