lintoai/linto-platform-nlp-topic-modeling

linto-platform-nlp-topic-modeling

镜像概述

linto-platform-nlp-topic-modeling是LinTO NLP服务的Docker镜像，基于https://github.com/linto-ai/linto-platform-nlp-core构建，用于主题建模任务。该镜像可与https://github.com/linto-ai/linto-platform-stack一起部署，也可独立运行。其设计遵循spaCy的"组件与管道"理念，组件（位于`components/`目录下）与服务解耦，可在其他spaCy项目中复用，通过管道组织实现特定NLP任务。

核心功能与特性

• 组件化架构：采用spaCy的组件与管道设计，组件可复用，便于扩展和维护
• 多服务模式：支持REST API（http模式）和Celery任务（task模式）两种部署方式
• 硬件支持：可配置GPU加速或仅使用CPU运行
• 多语言支持：默认支持法语（fr）和英语（en），可通过配置扩展
• 灵活部署：可集成到LinTO平台栈或独立部署

使用场景与适用范围

• 文本主题提取与分析
• 文档聚类与主题分类
• 大规模文本数据的主题发现
• NLP流水线中的主题建模模块
• 需要REST API或任务队列接口的主题分析应用

使用方法与配置说明

环境准备

1. 下载模型
   在主机上下载模型到./assets目录（可自定义路径），需确保已安装https://git-lfs.github.com/并可在`/usr/local/bin/git-lfs`访问：

   bash
   cd linto-platform-nlp-topic-modeling/
   bash scripts/download_models.sh
   

2. 配置环境变量
   复制默认环境变量文件并修改：

   bash
   cp .envdefault .env
   

   环境变量	描述	默认值
   APP_LANG	应用支持的语言列表（空格分隔）	fr en
   ASSETS_PATH_ON_HOST	主机上资产文件夹路径	./assets
   ASSETS_PATH_IN_CONTAINER	容器内模型挂载路径	/app/assets
   LM_MAP	语言与对应模型的JSON映射	{"fr":"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2","en":"sentence-transformers/all-MiniLM-L6-v2"}
   SERVICE_MODE	服务模式，"http"（REST API）或"task"（Celery任务）	"http"
   CONCURRENCY	最大并发请求数	1
   USE_GPU	是否使用GPU，"True"或"False"	True
   SERVICE_NAME	微服务名称	topic
   SERVICES_BROKER	微服务通信的 broker 服务器URL	"redis://localhost:6379"
   BROKER_PASS	broker服务器访问密码	None

构建镜像

bash
sudo docker build --tag lintoai/linto-platform-nlp-topic-modeling:latest .

或使用docker-compose：

bash
sudo docker-compose build

运行容器

GPU支持模式

需安装https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#installing-on-ubuntu-and-debian和GPU驱动：

bash
sudo docker run --gpus all \
--rm -p 80:80 \
-v $PWD/assets:/app/assets:ro \
--env-file .env \
lintoai/linto-platform-nlp-topic-modeling:latest

CPU仅模式

或使用docker-compose：

bash
sudo docker-compose up

API使用（SERVICE_MODE=http）

服务启动后，访问http://localhost/docs或http://localhost/redoc查看交互式API文档。

支持语言与模型

请求格式

使用" | "（两侧带空格）分隔文本片段（句子、段落、文档等）作为主题建模单元：

json
{
  "articles": [
    {
      "text": "文本片段1 | 文本片段2 | 文本片段3"
    }
  ]
}

响应说明

• topic_id: -1表示噪声主题（异常输入片段），通常可忽略
• count: 主题频率（分配给该主题的片段数量）
• phrases: 主题代表性短语列表及对应的c-TF-IDF分数
• topic_assignments: 各片段的主题分配及概率分布

响应示例：

json
{
  "topic": [
    {
      "text": "文本片段1 | 文本片段2 | ...",
      "topics": [
        {
          "topic_id": 0,
          "count": 5,
          "phrases": [
            {"text": "关键词1", "score": 0.1007},
            {"text": "关键词2", "score": 0.0870}
          ]
        }
      ],
      "topic_assignments": [
        {
          "text": "文本片段1",
          "assigned_id": 0,
          "probabilities": [1, 4.085e-309]
        }
      ]
    }
  ]
}