codait/max-image-caption-generator

IBM 开发者模型资产交换：图像标题生成器

本仓库包含实例化和部署图像标题生成模型的代码。该模型从固定词汇表生成描述COCO数据集中图像内容的标题。模型由_编码器_（基于Inception-v3架构的深度卷积网络，在ImageNet-2012数据上训练）和_解码器_（基于编码器输出进行训练的LSTM网络）组成。输入为图像，输出为描述图像内容的句子。

该模型基于https://github.com/tensorflow/models/tree/master/research/im2txt%E6%9E%84%E5%BB%BA%EF%BC%8C checkpoint文件托管在IBM Cloud Object Storage。本仓库代码将模型部署为Docker容器中的Web服务，是https://developer.ibm.com/code/exchanges/models/%E7%9A%84%E4%B8%80%E9%83%A8%E5%88%86%E3%80%82

模型元数据

引用

• O. Vinyals, A. Toshev, S. Bengio, D. Erhan., https://doi.org/10.1109/TPAMI.2016.2587640, IEEE transactions on Pattern Analysis and Machine Intelligence, 2017.
• https://github.com/tensorflow/models/tree/master/research/im2txt
• COCO数据集项目页面

许可证

前置要求

• docker：Docker命令行界面，需按照https://docs.docker.com/install/%E9%85%8D%E7%BD%AE%E7%B3%BB%E7%BB%9F%E3%80%82
• 最低推荐资源：2GB内存和2个CPU。
• 若使用x86-64/AMD64架构，CPU需至少支持AVX指令集。

部署选项

• 从Quay部署
• 在Red Hat OpenShift上部署
• 在Kubernetes上部署
• 本地运行

从Quay部署

运行以下命令启动模型服务API：

bash
$ docker run -it -p 5000:5000 quay.io/codait/max-image-caption-generator

该命令将从Quay.io容器 registry拉取预构建镜像（或使用本地缓存镜像）并运行。如需本地构建模型，可参考下方本地运行步骤。

在Red Hat OpenShift上部署

按照https://developer.ibm.com/tutorials/deploy-a-model-asset-exchange-microservice-on-red-hat-openshift/%E4%B8%AD%E7%9A%84OpenShift Web控制台或OpenShift容器平台CLI说明，指定镜像名称为quay.io/codait/max-image-caption-generator即可部署模型服务微服务。

在Kubernetes上部署

使用Quay上的最新Docker镜像在Kubernetes上部署模型：

bash
$ kubectl apply -f https://raw.githubusercontent.com/IBM/MAX-Image-Caption-Generator/master/max-image-caption-generator.yaml

模型将在内部端口5000可用，也可通过NodePort从外部访问。有关在https://ibm.biz/Bdz2XM%E4%B8%8A%E9%83%A8%E7%BD%B2MAX%E6%A8%A1%E5%9E%8B%E7%9A%84%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%EF%BC%8C%E8%AF%B7%E5%8F%82%E8%A7%81http://ibm.biz/max-to-ibm-cloud-tutorial%E3%80%82

本地运行

1. 构建模型
2. 部署模型
3. 使用模型
4. 开发
5. 清理

1. 构建模型

克隆本仓库并进入目录：

bash
$ git clone https://github.com/IBM/MAX-Image-Caption-Generator.git
$ cd MAX-Image-Caption-Generator

本地构建Docker镜像：

bash
$ docker build -t max-image-caption-generator .

构建过程中将自动下载所有必要的模型资产。注意：当前此Docker镜像仅支持CPU（后续将添加GPU支持）。

2. 部署模型

运行Docker镜像以启动模型服务API：

bash
$ docker run -it -p 5000:5000 max-image-caption-generator

3. 使用模型

API服务器自动生成交互式Swagger文档页面，访问http://localhost:5000即可加载。通过该页面可浏览API并创建测试请求。

使用model/predict端点上传测试文件并获取图像标题：

!Swagger截图

也可通过命令行测试，例如：

bash
$ curl -F "image=@samples/surfing.jpg" -X POST http://localhost:5000/model/predict

响应示例：

json
{
  "status": "ok",
  "predictions": [
    {
      "index": "0",
      "caption": "a man riding a wave on top of a surfboard .",
      "probability": 0.038827644239537
    },
    {
      "index": "1",
      "caption": "a person riding a surf board on a wave",
      "probability": 0.017933410519265
    },
    {
      "index": "2",
      "caption": "a man riding a wave on a surfboard in the ocean .",
      "probability": 0.0056628732021868
    }
  ]
}

4. 开发

如需以调试模式运行Flask API应用，编辑config.py将应用设置下的DEBUG = True，然后重新构建Docker镜像（参见步骤1）。

5. 清理

在终端中按CTRL + C停止Docker容器。

链接

• https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions%EF%BC%9AIBM CODAIT团队创建的参考应用，使用图像标题生成器

资源与贡献

如对模型资产交换项目有贡献意向或疑问，请遵循https://github.com/CODAIT/max-central-repo%E7%9A%84%E8%AF%B4%E6%98%8E%E3%80%82