illya13/deepseek-ocr2

DeepSeek-OCR-2 OpenAI兼容API服务器

DeepSeek-OCR-2的生产Docker部署，提供OpenAI兼容API接口。

文件结构

.
├── Dockerfile          # 生产环境Docker镜像构建文件
├── openai_server.py    # 自定义OpenAI兼容API服务器
└── README.md           # 说明文档

为什么需要openai_server.py？

DeepSeek-OCR-2包含原生vLLM模型实现（deepseek_ocr2.py），但无法直接与vLLM内置的OpenAI服务器配合使用。问题在于图像预处理流程：

1. vLLM的OpenAI服务器将原始PIL图像直接传递给模型处理器
2. DeepSeek的处理器期望图像经过tokenize_with_images()预处理——这是一个自定义方法，用于处理动态分辨率裁剪、分块和特征提取

直接使用vllm serve会导致如下错误：

TypeError: cannot unpack non-iterable Image object
TypeError: 'Image' object is not subscriptable

本项目的openai_server.py通过以下方式解决该问题：

• 从OpenAI格式请求中提取base64图像
• 使用DeepSeek的tokenize_with_images()方法进行预处理（与官方run_dpsk_ocr2_image.py脚本流程一致）
• 将处理后的特征传递给vLLM的AsyncLLMEngine
• 返回支持流式响应的OpenAI兼容格式结果

此方案使用与DeepSeek官方脚本完全相同的预处理流程，确保结果准确性。

环境要求

• 安装有NVIDIA容器工具包的Docker
• 支持CUDA 11.8+的NVIDIA GPU
• 约8GB以上显存（模型本身占用约6.3GB）

快速开始

构建镜像

bash
docker build -t deepseek-ocr2 .

运行容器

bash
docker run --gpus all -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  deepseek-ocr2

API使用方法

列出模型

bash
curl http://localhost:8000/v1/models

带布局检测的OCR

bash
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-OCR-2",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,'$(base64 -w0 image.jpg)'"}},
        {"type": "text", "text": "<|grounding|>Convert the document to markdown."}
      ]
    }],
    "max_tokens": 4096
  }'

无布局OCR（纯文本）

bash
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-OCR-2",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "image_url", "image_url": {"url": "data:image/jpeg;base64,'$(base64 -w0 image.jpg)'"}},
        {"type": "text", "text": "Free OCR."}
      ]
    }],
    "max_tokens": 4096
  }'

流式响应

在请求体中添加"stream": true即可启用流式响应。

环境变量

提示词

健康检查

bash
curl http://localhost:8000/health

注意事项

• 首次请求会较慢，因为模型加载需要约30-40秒
• 模型权重缓存于~/.cache/huggingface目录
• 支持base64编码的JPEG/PNG图像
• 表格内容会以HTML表格形式返回Markdown结果