beloved70020/bge-m3

BGE-M3嵌入API服务（beloved70020/bge-m3）

该Docker镜像提供即用型高性能API服务，用于使用BAAI/bge-m3模型生成文本嵌入。基于FastAPI和Uvicorn构建，提供与OpenAI兼容的/v1/embeddings端点，可实现开箱即用体验。容器内服务监听8080端口。

核心功能与特性

• 专为BAAI/bge-m3优化：预配置并专用于BAAI/bge-m3模型，确保高质量文本嵌入生成。
• 开箱即用：设计为即时使用，只需映射内部8080端口即可。
• OpenAI兼容API：通过/v1/embeddings端点轻松集成现有工具。
• 高性能：使用FlagEmbedding库实现高效推理。在支持CUDA的GPU环境中（若容器可访问主机GPU），支持FP16精度以加快处理速度。
• 健康检查：包含/health端点，用于监控服务状态和已加载的BAAI/bge-m3模型。

目标模型

本镜像专门构建和配置用于：

• 模型ID：BAAI/bge-m3

模型在镜像构建过程中下载并缓存。

使用方法

运行容器

容器内服务监听8080端口，需将主机端口映射到容器的8080端口。

将主机8080端口映射到容器8080端口运行服务：

bash
docker run -d -p 8080:8080 -v /dev/shm:/dev/shm docker.xuanyuan.run/beloved70020/bge-m3:latest

若需使用其他主机端口（如8100）：

bash
docker run -d -p 8100:8080 -v /dev/shm:/dev/shm docker.xuanyuan.run/beloved70020/bge-m3:latest

API端点：/v1/embeddings

该端点与OpenAI嵌入API兼容。请求中model字段必须为BAAI/bge-m3。

请求：

• POST /v1/embeddings
• 头信息：Content-Type: application/json
• 请求体：

  json
  {
    "input": "你的文本字符串", // 或字符串列表
    "model": "BAAI/bge-m3" // 本服务必须使用此模型ID
  }
  

使用cURL示例（假设服务映射到主机8080端口）：

bash
curl -X POST http://localhost:8080/v1/embeddings \
  -H "Content-Type: application/json" \
  -d '{
    "input": "Hello, world!",
    "model": "BAAI/bge-m3"
  }'

响应：

json
{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "embedding": [0.0123, -0.0456, ...], // BAAI/bge-m3生成的嵌入向量
      "index": 0
    }
  ],
  "model": "BAAI/bge-m3",
  "usage": {
    "prompt_tokens": 4, // 示例令牌数
    "total_tokens": 4
  }
}

健康检查端点

• GET /health

使用cURL示例（假设服务映射到主机8080端口）：

bash
curl http://localhost:8080/health

响应：

json
{
  "status": "ok",
  "models_loaded": {
    "embedding": true
  },
  "model_ids": {
    "embedding": "BAAI/bge-m3" // 确认已加载的特定模型
  }
}

环境变量

本镜像设计为开箱即用，标准操作无需用户设置任何环境变量。内部环境变量（如固定为8080的PORT、固定为BAAI/bge-m3的EMBEDDING_MODEL_ID、HF_HOME、HOST等）已预配置以确保最佳功能，不建议用户修改。