radaisystems/tfs-fastapi

TensorFlow Serving and FastAPI 镜像文档

镜像概述

本Docker镜像整合了TensorFlow Serving与FastAPI框架，提供一站式机器学习模型部署解决方案。TensorFlow Serving负责高效加载和运行TensorFlow训练模型，提供底层推理能力；FastAPI则构建高性能RESTful API接口，实现模型服务的便捷调用。两者结合消除了模型部署中的服务配置复杂性，帮助开发者快速将训练好的TensorFlow模型转化为生产级API服务。

核心功能与特性

• 一体化部署流程：无需分别配置模型服务与API框架，镜像内置协同机制，实现"一键启动"模型服务。
• 高性能推理支持：基于TensorFlow Serving的优化推理引擎，支持动态批处理、模型版本控制和低延迟推理。
• 自动API文档生成：FastAPI自动生成Swagger UI和ReDoc交互式文档，简化API测试与集成。
• 灵活模型管理：支持外部模型目录挂载，支持多模型部署（通过配置扩展），模型更新无需重启容器。
• 标准化接口：提供符合OpenAPI规范的RESTful接口，支持JSON格式输入输出，兼容主流客户端。

使用场景

• 机器学习模型服务化：将TensorFlow训练模型快速转化为可调用API，适用于分类、回归、NLP等各类模型。
• 快速原型验证：数据科学家可直接部署模型原型，供前端或业务系统测试验证。
• 生产环境API服务：支持高并发请求，满足线上业务对模型推理的实时性需求。
• 教育与演示：简化模型部署流程，便于教学场景中展示模型功能。

使用方法与配置说明

环境要求

• Docker Engine 19.03+
• 模型文件需为TensorFlow SavedModel格式（包含saved_model.pb及variables/目录）

配置参数（环境变量）

部署示例

1. 基础Docker Run命令

bash
docker run -d \
  --name tf-serving-api \
  -p 8000:8000 \
  -v /local/model/path:/models/model \  # 挂载本地SavedModel目录
  -e MODEL_NAME="image_classifier" \    # 设置模型名称
  -e API_PORT=8000 \                    # 设置API服务端口
  tensorflow-serving-fastapi:latest

注意：本地模型目录/local/model/path需包含完整SavedModel结构，例如：

/local/model/path/
├── saved_model.pb
└── variables/
    ├── variables.data-00000-of-00001
    └── variables.index

2. Docker Compose配置

创建docker-compose.yml：

yaml
version: '3.8'
services:
  model-service:
    image: tensorflow-serving-fastapi:latest
    container_name: tf-model-service
    ports:
      - "8000:8000"
    volumes:
      - ./models/classifier:/models/model  # 本地模型目录相对路径
    environment:
      - MODEL_NAME=classifier
      - MODEL_PATH=/models/model
      - API_PORT=8000
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

API调用示例

服务启动后，可通过以下方式访问：

1. 访问API文档

• Swagger UI: http://localhost:8000/docs
• ReDoc: http://localhost:8000/redoc

2. 推理请求示例（curl）

假设模型接收形状为[1, 224, 224, 3]的图像数据：

bash
curl -X POST "http://localhost:8000/predict" \
  -H "Content-Type: application/json" \
  -d '{
    "inputs": [[[[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], ...]]]  # 224x224x3图像数据
  }'

响应示例：

json
{
  "predictions": [0.92, 0.05, 0.03],  # 模型推理结果（示例）
  "model_name": "image_classifier",
  "timestamp": "2023-11-01T12:34:56Z"
}

高级配置：多模型部署

通过修改启动脚本支持多模型部署（需自定义配置）：

1. 挂载包含多个模型的目录（如/models/model1、/models/model2）
2. 设置MODEL_NAME为模型列表（如"model1,model2"）
3. API路径将自动生成为/predict/model1、/predict/model2

注意事项

• 模型更新：替换挂载目录中的模型文件后，TensorFlow Serving将自动加载新模型（通常在30秒内）。
• 性能优化：高并发场景下可调整BATCH_SIZE参数，或通过docker run --cpus限制CPU资源。
• 日志查看：使用docker logs tf-serving-api查看服务运行日志，排查模型加载或请求错误。