photoprism/vision-describe

PhotoPrism: Computer Vision Models

镜像概述

此镜像提供补充的计算机视觉服务，可作为Web服务接收图像URL并返回描述文本，适用于PhotoPrism及其他需要图像caption功能的应用。支持Kosmos-2、VIT-GPT2和BLIP三种模型，满足不同场景的需求。

核心功能

• Kosmos-2: 微软开发的高精度模型，支持目标检测和空间推理，默认使用，CLIP分数最高。
• VIT-GPT2: 结合VIT和GPT2的多模态模型，性能相对较低。
• BLIP: Salesforce开发的模型，提升图像理解和文本生成能力，性能优于VIT-GPT2。

使用场景

• PhotoPrism应用的图像自动描述功能增强。
• 其他需要生成图像caption的应用集成。
• 计算机视觉相关的开发和测试。

配置说明

依赖

• Flask：构建API框架。
• PyTorch：处理机器学习模型，支持GPU加速。
• Transformers：下载和加载模型。
• Pillow：处理图像格式转换。

构建步骤

1. 安装Git和Python 3.12+：

   bash
   sudo apt-get install -y git python3 python3-pip python3-venv python3-wheel
   

2. 克隆仓库并安装依赖：

   bash
   git clone git@github.com:photoprism/photoprism-vision.git
   cd photoprism-vision/describe
   python3 -m venv ./venv
   . ./venv/bin/activate
   pip install --upgrade pip
   pip install -r requirements.txt
   

运行服务

bash
./venv/bin/python app.py

服务默认监听5000端口。

Docker部署示例

bash
docker run -d -p 5000:5000 docker.xuanyuan.run/photoprism/vision-describe

API使用示例

POST请求

bash
curl -v -H "Content-Type: application/json" \
  --data '{"url":"https://dl.photoprism.app/img/team/avatar.jpg"}' \
  -X POST http://localhost:5000/api/v1/vision/describe

响应示例

json
{
    "id": "b0db2187-7a09-438c-8649-a9c6c0f7b8a1",
    "model": {
        "name": "kosmos-2",
        "version": "patch14-224"
    },
    "result": {
        "caption": "An image of a man in a suit smiling."
    }
}