clipper/noop-container

Clipper

![Build Status]([] ![License]([]

镜像概述

clipper/noop-container是Clipper预测服务系统的配套Python模型容器，主要用于测试和演示场景，可兼容各类机器学习模型，帮助用户快速验证预测服务流程。Clipper作为连接用户应用与多框架ML模型的中间层，提供标准化REST接口支持预测和反馈。

核心功能

1. 简化集成：为多种常用ML框架提供统一REST接口，降低应用与模型的集成复杂度。
2. 便捷部署：复用模型开发工具链进行实时预测，减少部署错误。
3. 性能优化：通过自适应批处理、缓存等技术提升吞吐量，确保毫秒级延迟。
4. 精度提升：采用bandit算法和集成方法，智能优化预测结果的准确性。

使用场景

• 机器学习模型的快速测试与演示验证。
• 构建REST预测服务原型。
• 评估Clipper系统的功能与性能表现。

配置说明

快速开始

注意：本快速开始适用于最新代码版本，兼容PyPi发布版的内容请访问官网[***]

需提前安装Docker，且仅支持Python2。

启动Clipper实例并部署模型

安装Clipper

从GitHub直接安装：

sh
pip install git+https://github.com/ucbrise/clipper.git@develop#subdirectory=clipper_admin

或本地克隆后安装：

sh
pip install -e </path/to/clipper_repo>/clipper_admin

启动本地集群

启动Python解释器：

sh
$ python
# 或使用iPython
$ conda install ipython && ipython

py
>>> from clipper_admin import ClipperConnection, DockerContainerManager
>>> clipper_conn = ClipperConnection(DockerContainerManager())

# 首次启动将下载容器，需等待
>>> clipper_conn.start_clipper()

# 注册应用（创建预测端点）
>>> clipper_conn.register_application(name="hello-world", input_type="doubles", default_output="-1.0", slo_micros=100000)

# 定义简单求和模型
>>> def feature_sum(xs):
      return [str(sum(x)) for x in xs]

# 部署模型
>>> from clipper_admin.deployers import python as python_deployer
>>> python_deployer.deploy_python_closure(clipper_conn, name="sum-model", version=1, input_type="doubles", func=feature_sum)

# 关联应用与模型
>>> clipper_conn.link_model_to_app(app_name="hello-world", model_name="sum-model")

查询预测

使用cURL：

sh
curl -X POST --header "Content-Type:application/json" -d '{"input": [1.1,2.2,3.3]}' 127.0.0.1:1337/hello-world/predict

使用Python：

py
import requests, json, numpy as np
headers = {"Content-type": "application/json"}
resp = requests.post("http://localhost:1337/hello-world/predict", headers=headers, data=json.dumps({"input": list(np.random.random(10))}))
print(resp.json())

清理资源

py
# 若会话断开需重新连接
>>> from clipper_admin import ClipperConnection, DockerContainerManager
>>> clipper_conn = ClipperConnection(DockerContainerManager())
>>> clipper_conn.connect()

# 停止所有容器
>>> clipper_conn.stop_all()