clipper/py-rpc

Clipper

![Build Status]([] ![License]([]

镜像概述

Clipper是一个预测服务系统，介于用户应用与各类机器学习模型/框架之间，通过提供标准化REST接口简化模型集成与部署，帮助企业快速将机器学习技术落地到生产环境。

核心功能

1. 简化集成：提供统一REST接口，支持多框架模型的预测与反馈，降低应用与模型的集成成本。
2. 便捷部署：使用模型开发时的工具和库进行实时预测，减少部署过程中的bug。
3. 性能优化：通过自适应批处理、缓存和拖慢请求缓解技术，提升吞吐量并保证毫秒级延迟。
4. 精度提升：采用先进的bandit算法和集成方法，智能选择与组合预测结果，实现实时个性化。

使用场景

• 企业级机器学习应用快速上线，需要统一的模型服务接口。
• 数据科学团队验证模型效果，快速部署原型并获取反馈。
• 高并发场景下的低延迟预测服务需求（如推荐系统、实时决策）。
• 多框架模型（TensorFlow、PyTorch等）的统一管理与服务。

配置说明

安装Clipper

可通过GitHub直接安装或本地克隆安装：

sh
# 从GitHub安装
pip install git+https://github.com/ucbrise/clipper.git@develop#subdirectory=clipper_admin

# 本地克隆后安装
pip install -e </path/to/clipper_repo>/clipper_admin

启动本地Clipper集群

python
from clipper_admin import ClipperConnection, DockerContainerManager
clipper_conn = ClipperConnection(DockerContainerManager())

# 启动Clipper（首次运行会下载Docker镜像）
clipper_conn.start_clipper()

部署模型

python
# 注册应用（创建预测端点）
clipper_conn.register_application(name="hello-world", input_type="doubles", default_output="-1.0", slo_micros=100000)

# 定义预测函数
def feature_sum(xs):
    return [str(sum(x)) for x in xs]

# 部署模型
from clipper_admin.deployers import python as python_deployer
python_deployer.deploy_python_closure(clipper_conn, name="sum-model", version=1, input_type="doubles", func=feature_sum)

# 关联应用与模型
clipper_conn.link_model_to_app(app_name="hello-world", model_name="sum-model")

查询预测

使用cURL：

sh
curl -X POST --header "Content-Type:application/json" -d '{"input": [1.1, 2.2, 3.3]}' 127.0.0.1:1337/hello-world/predict

使用Python：

python
import requests, json, numpy as np
headers = {"Content-type": "application/json"}
response = requests.post("http://localhost:1337/hello-world/predict", headers=headers, data=json.dumps({"input": list(np.random.random(10))}))
print(response.json())

清理资源

python
clipper_conn.stop_all()