ogulcanaydogan/model-server

Model Server（模型服务）

轻量级机器学习模型服务镜像，支持ONNX、PyTorch和scikit-learn模型的部署与推理，提供简单易用的API接口和灵活的配置选项，适用于快速部署模型推理服务。

核心功能

• 支持多种模型格式：ONNX（.onnx）、PyTorch（.pt/.pth）、scikit-learn（.pkl/.joblib）
• 提供RESTful API：预测、模型信息查询、健康检查、就绪检查
• 灵活配置：通过环境变量设置端口、模型路径、运行时等参数
• 热重载支持：文件变化时自动重新加载模型
• CPU优化的低延迟推理

使用场景

• 快速部署机器学习模型进行在线推理
• 开发/测试阶段验证模型功能
• 小型应用或服务集成机器学习能力

配置说明

环境变量

部署示例

Docker Run命令

bash
docker run -p 8080:8080 \
  -v $(pwd)/models:/models \
  ogulcanaydogan/model-server

预测请求示例

bash
curl -X POST http://localhost:8080/api/predict \
  -H "Content-Type: application/json" \
  -d '{"input": [[1.0, 2.0, 3.0, 4.0]]}'

Docker Compose配置

yaml
services:
  model-server:
    image: ogulcanaydogan/model-server
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - RUNTIME=onnx
      - HOT_RELOAD=true

API接口详情

POST /api/predict

执行模型推理，接收JSON格式的输入数据。

输入示例：

json
{"input": [[1.0, 2.0, 3.0, 4.0]]}

响应示例：

json
{
  "output": [[0.95, 0.05]],
  "latency_ms": 2.34,
  "model": "/models/model.onnx"
}

GET /api/info

获取当前加载模型的元数据和服务配置信息。

GET /health

服务健康检查接口，返回200表示正常。

GET /ready

服务就绪检查接口，模型加载完成时返回200，否则返回503。

许可证

该镜像遵循MIT许可证。