deeppavlov/base-gpu

deeppavlov/base-gpu 镜像说明

镜像概述

本镜像包含不同版本的预构建DeepPavlov模型，用于在GPU环境下运行模型并通过REST-like HTTP API提供服务（latest标签对应仓库最新版本）。使用前需安装https://github.com/NVIDIA/nvidia-docker%EF%BC%8CCPU%E7%89%88%E6%9C%AC%E8%AF%B7%E5%8F%82%E8%80%83https://hub.docker.com/r/deeppavlov/base-cpu%E9%95%9C%E5%83%8F%E3%80%82Dockerfile%E5%8F%AF%E5%9C%A8https://github.com/deepmipt/stand_kubernetes_cluster/blob/master/utils/dp_base/gpu/Dockerfile%E6%9F%A5%E7%9C%8B%E3%80%82

核心功能

1. 支持多种DeepPavlov预训练模型的快速部署
2. 通过HTTP API提供模型服务，兼容REST规范
3. 利用GPU加速模型推理过程
4. 支持模型组件（预训练权重、嵌入等）的持久化存储，避免重复下载
5. 支持虚拟环境的持久化，减少依赖重复安装时间

使用场景

• 自然语言处理任务（如命名实体识别、问答系统、文本分类等）的生产级部署
• 需要GPU加速的AI服务场景
• 科研或开发中快速验证DeepPavlov模型效果

配置说明

运行GPU模式下的DeepPavlov模型服务，需执行以下命令：

bash
docker run -e CONFIG=<dp_config_name> -p <your_port>:5000 \
    --runtime=nvidia \
    -v <dp_components_volume>:/root/.deeppavlov \
    -v <host_venv_dir>:/venv \
    docker.xuanyuan.run/deeppavlov/base-gpu:<dp_version>

参数解释：

1. <dp_config_name>（必填）：模型配置文件名（不含扩展名），可在http://docs.deeppavlov.ai/en/master/features/overview.html%E6%88%96https://github.com/deepmipt/DeepPavlov/tree/master/deeppavlov/configs%E8%8E%B7%E5%8F%96%E6%A8%A1%E5%9E%8B%E5%88%97%E8%A1%A8%E3%80%82
2. <your_port>（必填）：主机端口，用于访问模型服务。
3. <dp_components_volume>：主机目录，挂载DeepPavlov下载的组件（如预训练模型），避免重复下载。
4. <host_venv_dir>：主机目录，挂载虚拟环境，避免重复安装依赖。不同版本的DeepPavlov建议使用不同目录。
5. <dp_version>：DeepPavlov版本号，省略则使用最新版本。

服务启动后，访问http://127.0.0.1:<your_port>可查看Swagger API文档。

示例

部署NER Ontonotes模型

bash
docker run -e CONFIG=ner_ontonotes -p 5555:5000 \
    --runtime=nvidia \
    -v ~/my_dp_components:/root/.deeppavlov \
    -v ~/my_dp_envs:/venv \
    docker.xuanyuan.run/deeppavlov/base-gpu

• 访问http://127.0.0.1:5555查看API文档
• 模型组件存储在~/my_dp_components，虚拟环境存储在~/my_dp_envs/ner_ontonotes

1.0.0rc1及以后版本

bash
docker run -e CONFIG=<dp_config_name> -p <your_port>:5000 \
    --runtime=nvidia \
    -v <dp_components_volume>:/root/.deeppavlov \
    -v <host_cache_dir>:/root/.cache \
    deeppavlov/base-gpu:<dp_version>