opea/erag-torchserve_reranking

OPEA ERAG TorchServe 重排序模型服务器

镜像概述和主要用途

作为Intel® AI for Enterprise RAG (ERAG)生态系统的关键组件，该镜像提供重排序模型服务，为OPEA ERAG重排序服务提供核心支持，能够高效评估文档与用户查询的相关性。其底层基于TorchServe构建，TorchServe是一个轻量级、可扩展且易于使用的PyTorch模型服务库，提供RESTful API接口，支持在生产环境中部署和服务训练好的模型。此外，TorchServe还集成了Intel® Extension for PyTorch*，可在Intel硬件上显著提升性能。

核心功能和特性

• 轻量级可扩展服务：基于TorchServe构建，具备低资源占用和横向扩展能力，满足不同规模的部署需求
• RESTful API支持：提供标准化的RESTful接口，便于与各类应用系统集成
• Intel硬件优化：支持Intel® Extension for PyTorch*，在Intel CPU/GPU等硬件上实现性能加速
• 高效相关性评估：专注于文档-查询相关性打分，提升RAG系统的检索精度
• 生产级部署能力：支持模型版本管理、健康检查和负载均衡，适合企业级生产环境

使用场景和适用范围

• 企业RAG系统优化：在检索增强生成（RAG）流程中，对初始检索结果进行重排序，提升回答质量
• 文档检索精化：适用于需要对大量文档进行相关性排序的应用场景，如智能问答、知识库检索
• PyTorch模型部署：为基于PyTorch的重排序模型提供标准化部署方案
• Intel硬件环境：特别优化了在Intel CPU/GPU等硬件上的运行性能，适合Intel架构的企业环境

使用方法和配置说明

基本部署命令

使用以下命令启动重排序模型服务器：

bash
docker run -d -p 8080:8080 -p 8081:8081 intel/opea-erag-torchserve-reranking:latest

• -p 8080:8080：映射TorchServe推理API端口（用于接收预测请求）
• -p 8081:8081：映射TorchServe管理API端口（用于模型管理操作）

环境变量配置

可通过环境变量自定义服务参数：

管理API使用示例

获取已部署模型信息：

bash
curl http://localhost:8081/models

查看模型详细状态：

bash
curl http://localhost:8081/models/reranking_model

推理API使用示例

提交重排序请求（评估文档与查询的相关性）：

bash
curl -X POST http://localhost:8080/predictions/reranking_model \
  -H "Content-Type: application/json" \
  -d '{
    "query": "什么是Intel® Extension for PyTorch*?",
    "documents": [
      "Intel® Extension for PyTorch*是一个开源项目，旨在优化PyTorch在Intel硬件上的性能。",
      "PyTorch是一个开源的机器学习框架，广泛用于深度学习研究和开发。",
      "Intel® AI工具包提供了多种优化工具，帮助开发者提升AI应用性能。"
    ]
  }'

返回结果示例（包含相关性分数，降序排列）：

json
{
  "ranked_documents": [
    {
      "document": "Intel® Extension for PyTorch*是一个开源项目，旨在优化PyTorch在Intel硬件上的性能。",
      "score": 0.92
    },
    {
      "document": "Intel® AI工具包提供了多种优化工具，帮助开发者提升AI应用性能。",
      "score": 0.65
    },
    {
      "document": "PyTorch是一个开源的机器学习框架，广泛用于深度学习研究和开发。",
      "score": 0.41
    }
  ]
}

许可证

OPEA ERAG采用Apache License 2.0许可。

版权所有 © 2024–2026 Intel Corporation。保留所有权利。