lintoai/linto-platform-nlp-topic-modeling

linto-platform-nlp-topic-modeling

镜像概述

linto-platform-nlp-topic-modeling是LinTO NLP服务的Docker镜像，基于https://github.com/linto-ai/linto-platform-nlp-core%E6%9E%84%E5%BB%BA%EF%BC%8C%E7%94%A8%E4%BA%8E%E4%B8%BB%E9%A2%98%E5%BB%BA%E6%A8%A1%E4%BB%BB%E5%8A%A1%E3%80%82%E8%AF%A5%E9%95%9C%E5%83%8F%E5%8F%AF%E4%B8%8Ehttps://github.com/linto-ai/linto-platform-stack%E4%B8%80%E8%B5%B7%E9%83%A8%E7%BD%B2%EF%BC%8C%E4%B9%9F%E5%8F%AF%E7%8B%AC%E7%AB%8B%E8%BF%90%E8%A1%8C%E3%80%82%E5%85%B6%E8%AE%BE%E8%AE%A1%E9%81%B5%E5%BE%AAspaCy%E7%9A%84%22%E7%BB%84%E4%BB%B6%E4%B8%8E%E7%AE%A1%E9%81%93%22%E7%90%86%E5%BF%B5%EF%BC%8C%E7%BB%84%E4%BB%B6%EF%BC%88%E4%BD%8D%E4%BA%8E%60components/%60%E7%9B%AE%E5%BD%95%E4%B8%8B%EF%BC%89%E4%B8%8E%E6%9C%8D%E5%8A%A1%E8%A7%A3%E8%80%A6%EF%BC%8C%E5%8F%AF%E5%9C%A8%E5%85%B6%E4%BB%96spaCy%E9%A1%B9%E7%9B%AE%E4%B8%AD%E5%A4%8D%E7%94%A8%EF%BC%8C%E9%80%9A%E8%BF%87%E7%AE%A1%E9%81%93%E7%BB%84%E7%BB%87%E5%AE%9E%E7%8E%B0%E7%89%B9%E5%AE%9ANLP%E4%BB%BB%E5%8A%A1%E3%80%82

核心功能与特性

• 组件化架构：采用spaCy的组件与管道设计，组件可复用，便于扩展和维护
• 多服务模式：支持REST API（http模式）和Celery任务（task模式）两种部署方式
• 硬件支持：可配置GPU加速或仅使用CPU运行
• 多语言支持：默认支持法语（fr）和英语（en），可通过配置扩展
• 灵活部署：可集成到LinTO平台栈或独立部署

使用场景与适用范围

• 文本主题提取与分析
• 文档聚类与主题分类
• 大规模文本数据的主题发现
• NLP流水线中的主题建模模块
• 需要REST API或任务队列接口的主题分析应用

使用方法与配置说明

环境准备

1. 下载模型
   在主机上下载模型到./assets目录（可自定义路径），需确保已安装https://git-lfs.github.com/%E5%B9%B6%E5%8F%AF%E5%9C%A8%60/usr/local/bin/git-lfs%60%E8%AE%BF%E9%97%AE%EF%BC%9A

   bash
   cd linto-platform-nlp-topic-modeling/
   bash scripts/download_models.sh
   

2. 配置环境变量
   复制默认环境变量文件并修改：

   bash
   cp .envdefault .env
   

   环境变量	描述	默认值
   APP_LANG	应用支持的语言列表（空格分隔）	fr en
   ASSETS_PATH_ON_HOST	主机上资产文件夹路径	./assets
   ASSETS_PATH_IN_CONTAINER	容器内模型挂载路径	/app/assets
   LM_MAP	语言与对应模型的JSON映射	{"fr":"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2","en":"sentence-transformers/all-MiniLM-L6-v2"}
   SERVICE_MODE	服务模式，"http"（REST API）或"task"（Celery任务）	"http"
   CONCURRENCY	最大并发请求数	1
   USE_GPU	是否使用GPU，"True"或"False"	True
   SERVICE_NAME	微服务名称	topic
   SERVICES_BROKER	微服务通信的 broker 服务器URL	"redis://localhost:6379"
   BROKER_PASS	broker服务器访问密码	None

构建镜像

bash
sudo docker build --tag lintoai/linto-platform-nlp-topic-modeling:latest .

或使用docker-compose：

bash
sudo docker-compose build

运行容器

GPU支持模式

需安装NVIDIA Container Toolkit和GPU驱动：

bash
sudo docker run --gpus all \
--rm -p 80:80 \
-v $PWD/assets:/app/assets:ro \
--env-file .env \
lintoai/linto-platform-nlp-topic-modeling:latest

CPU仅模式

或使用docker-compose：

bash
sudo docker-compose up

API使用（SERVICE_MODE=http）

服务启动后，访问http://localhost/docs或http://localhost/redoc查看交互式API文档。

支持语言与模型

请求格式

使用" | "（两侧带空格）分隔文本片段（句子、段落、文档等）作为主题建模单元：

json
{
  "articles": [
    {
      "text": "文本片段1 | 文本片段2 | 文本片段3"
    }
  ]
}

响应说明

• topic_id: -1表示噪声主题（异常输入片段），通常可忽略
• count: 主题频率（分配给该主题的片段数量）
• phrases: 主题代表性短语列表及对应的c-TF-IDF分数
• topic_assignments: 各片段的主题分配及概率分布

响应示例：

json
{
  "topic": [
    {
      "text": "文本片段1 | 文本片段2 | ...",
      "topics": [
        {
          "topic_id": 0,
          "count": 5,
          "phrases": [
            {"text": "关键词1", "score": 0.1007},
            {"text": "关键词2", "score": 0.0870}
          ]
        }
      ],
      "topic_assignments": [
        {
          "text": "文本片段1",
          "assigned_id": 0,
          "probabilities": [1, 4.085e-309]
        }
      ]
    }
  ]
}