beloved70020/bge-reranker-v2-m3

BGE Reranker API服务（beloved70020/bge-reranker-v2-m3）

该Docker镜像提供一个即用型、高性能的API服务，用于使用BAAI/bge-reranker-v2-m3模型进行文档重排序。它基于FastAPI和Uvicorn构建，可开箱即用。容器内的服务监听8080端口。

核心功能与特性

• 专为BAAI/bge-reranker-v2-m3优化：预配置并专用于BAAI/bge-reranker-v2-m3模型，确保高质量文档重排序。
• 开箱即用：设计为即时使用，只需映射内部8080端口即可。
• 专用重排序API：提供/v1/rerank端点，用于提交查询和文档列表。
• 高性能：使用FlagEmbedding库进行高效推理。在支持CUDA的GPU环境中（若容器可访问主机GPU），支持FP16精度以实现更快处理。
• 健康检查：包含/health端点，用于监控服务状态和已加载的BAAI/bge-reranker-v2-m3模型。

目标模型

该镜像专门构建和配置用于：

• 模型ID：BAAI/bge-reranker-v2-m3

模型在镜像构建过程中已下载并缓存于镜像内。

使用方法

运行容器

容器内的服务监听8080端口。需将主机端口映射到容器的8080端口。

若要运行服务，将主机端口8080映射到容器的8080端口：

bash
docker run -d -p 8080:8080 -v /dev/shm:/dev/shm docker.xuanyuan.run/beloved70020/bge-reranker-v2-m3:latest

若需使用不同的主机端口（例如8101）：

bash
docker run -d -p 8101:8080 -v /dev/shm:/dev/shm docker.xuanyuan.run/beloved70020/bge-reranker-v2-m3:latest

API端点：/v1/rerank

若请求中包含model字段，其值必须为BAAI/bge-reranker-v2-m3。

请求：

• POST /v1/rerank
• 头信息：Content-Type: application/json
• 请求体：

  json
  {
    "model": "BAAI/bge-reranker-v2-m3", // 必须为此服务指定的模型
    "query": "法国的首都是什么？",
    "documents": [
      "巴黎是法国的首都。",
      "伦敦是英国的一个大城市。",
      "埃菲尔铁塔是巴黎著名的地标。"
    ],
    "top_n": 2 // 可选：返回的top结果数量
  }
  

使用cURL示例（假设服务映射到主机端口8080）：

bash
curl -X POST http://localhost:8080/v1/rerank \
  -H "Content-Type: application/json" \
  -d '{
    "query": "法国的首都是什么？",
    "documents": [
      "巴黎是法国的首都。",
      "伦敦是英国的一个大城市。",
      "埃菲尔铁塔是巴黎著名的地标。"
    ],
    "top_n": 2,
    "model": "BAAI/bge-reranker-v2-m3"
  }'

响应：

json
{
  "results": [
    {
      "index": 0, // 文档的原始索引
      "relevance_score": 0.9876, // BAAI/bge-reranker-v2-m3返回的示例分数
      "document": {
        "text": "巴黎是法国的首都。"
      }
    },
    {
      "index": 2,
      "relevance_score": 0.9543, // 示例分数
      "document": {
        "text": "埃菲尔铁塔是巴黎著名的地标。"
      }
    }
  ],
  "usage": {
    "prompt_tokens": 25, // 查询+文档的示例token数量
    "completion_tokens": 0,
    "total_tokens": 25
  }
}

健康检查端点

• GET /health

使用cURL示例（假设服务映射到主机端口8080）：

bash
curl http://localhost:8080/health

响应：

json
{
  "status": "ok",
  "models_loaded": {
    "reranker": true
  },
  "model_ids": {
    "reranker": "BAAI/bge-reranker-v2-m3" // 确认已加载的特定模型
  }
}

环境变量

该镜像设计为开箱即用，标准操作无需用户设置任何环境变量。内部环境变量（如固定为8080的PORT、固定为BAAI/bge-reranker-v2-m3的RERANKER_MODEL_ID、HF_HOME、HOST等）已预配置以确保最佳功能，不建议用户修改。