bankja/docling-serve

docling-serve Docker镜像文档

镜像概述

docling-serve Docker镜像是基于CUDA 12.8构建的文档处理服务容器，提供高效的文档解析与处理能力。该镜像支持模型延迟加载（lazy loading）机制，可在闲置时自动清理GPU显存，优化资源利用效率。更多信息请访问https://github.com/bankjaneo/docling-serve%E3%80%82

核心功能与特性

• CUDA 12.8支持：利用GPU加速文档处理任务，提升计算性能
• 模型延迟加载：实现GPU显存动态管理，闲置时自动释放显存资源
• 可配置Web UI：通过环境变量控制是否启用Web界面，便于服务监控与操作
• 灵活任务管理：支持配置最大同步等待时间、任务重启策略等参数
• 多线程处理：可自定义线程数量，适应不同规模的文档处理需求

使用场景

• 文档解析与处理服务的容器化部署
• 需要高效利用GPU资源的文档处理场景
• 对显存占用敏感的AI文档处理应用

使用方法与配置说明

前置要求

• 已安装Docker和Docker Compose
• 系统需配备NVIDIA GPU，并安装NVIDIA Container Toolkit

Docker Compose部署示例

以下是完整的docker-compose.yml配置示例：

yaml
services:
  docling-serve:
    image: bankja/docling-serve:cuda
    container_name: docling-serve
    ports:
      - "5001:5001"  # 服务端口映射
    environment:
      - DOCLING_SERVE_ENABLE_UI=1  # 启用Web UI（1=启用，0=禁用）
      - DOCLING_SERVE_MAX_SYNC_WAIT=600  # 最大同步等待时间（秒）
      - DOCLING_SERVE_ENABLE_REMOTE_SERVICES=1  # 启用远程服务（1=启用，0=禁用）
      - DOCLING_NUM_THREADS=7  # 处理线程数量
      - DOCLING_SERVE_MAX_TASKS_BEFORE_RESTART=1  # 重启前最大任务数
      - DOCLING_SERVE_FREE_VRAM_ON_IDLE=True  # 闲置时释放显存（True/False）
      - DOCLING_SERVE_UNLOAD_LLAMA_SWAP_BASE_URL=http://172.17.0.1:9292/v1  # 卸载Llama模型的交换服务URL
    restart: unless-stopped  # 除非手动停止，否则自动重启
    logging:
      driver: "json-file"
      options:
        max-file: "1"  # 最大日志文件数
        max-size: "10m"  # 单日志文件大小上限
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all  # 使用所有可用GPU
              capabilities: [gpu]  # 启用GPU功能

环境变量说明

启动服务

在包含docker-compose.yml的目录下执行以下命令启动服务：

bash
docker-compose up -d

服务启动后，可通过http://localhost:5001访问Web界面（若已启用）。

注意事项

• 确保主机已正确配置NVIDIA Container Toolkit，以支持GPU资源分配
• 根据实际GPU配置调整线程数和任务参数，避免资源过载
• 日志配置默认限制单个日志文件大小为10MB，最多保留1个日志文件，可根据需求调整