kserve/rest-proxy

KServe REST Proxy 镜像文档

概述

KServe REST Proxy是一个轻量级代理服务，旨在实现REST API与gRPC之间的协议转换。该镜像特别为KServe模型服务设计，允许客户端使用熟悉的REST API与基于gRPC的后端服务进行通信，简化了不同协议之间的集成过程。

核心功能和特性

• 协议转换：实现REST API请求到gRPC请求的双向转换
• 数据格式处理：支持多种输入输出数据格式的转换与验证
• 与KServe无缝集成：专为KServe模型服务架构设计
• 高性能：优化的请求处理流程，确保低延迟转换
• 可配置性：支持自定义路由和转换规则

使用场景和适用范围

• 需要通过REST API访问KServe gRPC服务端点的场景
• 客户端应用仅支持REST API但需要与gRPC后端交互的情况
• 多语言客户端需要统一API访问方式的微服务架构
• 模型服务迁移过程中需要保持API兼容性的过渡阶段

使用方法和配置说明

基本用法

使用以下命令启动REST Proxy容器：

bash
docker run -p 8080:8080 kserve/rest-proxy:latest

环境变量配置

高级配置

可以通过挂载配置文件来自定义路由规则：

bash
docker run -p 8080:8080 -v ./routes.yaml:/etc/rest-proxy/routes.yaml kserve/rest-proxy:latest

Docker Compose 示例

yaml
version: '3'
services:
  rest-proxy:
    image: kserve/rest-proxy:latest
    ports:
      - "8080:8080"
    environment:
      - GRPC_BACKEND=model-server:8081
      - LOG_LEVEL=debug
    depends_on:
      - model-server
  model-server:
    image: kserve/model-server:latest
    ports:
      - "8081:8081"

API 端点

推理请求

POST /v1/models/{model_name}:predict

请求体示例：

json
{
  "instances": [
    {"data": [1.0, 2.0, 3.0]}
  ]
}

模型元数据

GET /v1/models/{model_name}

健康检查

GET /health

注意事项

• 确保REST Proxy能够网络访问目标gRPC后端服务
• 根据实际负载调整容器资源限制
• 生产环境中建议启用TLS加密
• 高可用性部署建议配合负载均衡器使用

维护和更新

• 定期更新镜像以获取最新安全补丁
• 监控代理服务的性能指标，包括转换延迟和成功率
• 根据后端服务变更及时调整路由配置