vanvalenlab/kiosk-tf-serving

TensorFlow Serving 云端模型部署镜像

镜像概述

本镜像基于TensorFlow Serving构建，专门用于部署托管在云端的机器学习模型。它提供了高效、可扩展的模型服务能力，支持从云存储（如Google Cloud Storage、Amazon S3等）加载模型，并通过标准接口对外提供预测服务。

核心功能与特性

• 云端模型支持：无缝集成主流云存储服务，可直接加载存储在云端的TensorFlow模型
• 多接口服务：原生支持REST API和gRPC接口，满足不同场景下的调用需求
• 动态模型更新：支持模型版本管理和热更新，无需重启服务即可切换模型版本
• 高性能服务：优化的模型推理引擎，支持批处理请求和资源动态分配
• 监控与可观测性：内置Prometheus指标接口，便于监控服务性能和模型状态

使用场景与适用范围

• 生产环境中的机器学习模型在线服务部署
• 需要频繁更新模型版本的AI应用系统
• 云端模型的集中化管理与服务化部署
• 多团队共享云端模型资源的协作场景
• 对模型服务响应速度和稳定性有较高要求的业务场景

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -p 8500:8500 -p 8501:8501 \
  -e MODEL_NAME=my_model \
  -e MODEL_BASE_PATH=gs://my-bucket/models/my_model \
  tensorflow-serving-cloud

参数说明：

• -p 8500:8500：映射gRPC服务端口
• -p 8501:8501：映射REST API服务端口
• MODEL_NAME：模型名称，用于API路径标识
• MODEL_BASE_PATH：云端模型存储路径（支持gs://、s3://等协议）

Docker Compose配置

yaml
version: '3'
services:
  tf-serving:
    image: tensorflow-serving-cloud
    ports:
      - "8500:8500"
      - "8501:8501"
    environment:
      - MODEL_NAME=image_classifier
      - MODEL_BASE_PATH=s3://ml-models/image-classifier
      - PORT=8501  # REST API端口，默认8501
      - GRPC_PORT=8500  # gRPC端口，默认8500
      - MODEL_POLL_SECONDS=60  # 模型更新检查间隔，默认60秒
    restart: always

模型访问示例

REST API调用

bash
curl -X POST http://localhost:8501/v1/models/my_model:predict \
  -H "Content-Type: application/json" \
  -d '{"instances": [[1.0, 2.0, 3.0, 4.0]]}'

gRPC调用

使用TensorFlow Serving提供的predict_client.py示例代码：

python
from grpc.beta import implementations
import tensorflow as tf
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2

host = 'localhost'
port = 8500
channel = implementations.insecure_channel(host, int(port))
stub = prediction_service_pb2.beta_create_PredictionService_stub(channel)

request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = 'serving_default'
request.inputs['input'].CopyFrom(tf.make_tensor_proto([[1.0, 2.0, 3.0, 4.0]]))

result = stub.Predict(request, 10.0)  # 10秒超时
print(result)

高级配置

• 模型版本控制：通过MODEL_BASE_PATH下的版本子目录（如/1/、/2/）实现版本管理，服务默认加载最新版本
• 资源限制：可通过--cpus和--memory参数限制容器资源使用
• 认证配置：对于私有云存储，可通过挂载云服务认证文件（如GCP的service-account.json）实现访问授权

注意事项

• 确保云存储路径可公开访问或容器已配置正确的访问权限
• 模型文件需符合TensorFlow SavedModel格式
• 大规模部署时建议配合负载均衡和自动扩缩容机制使用