lintoai/linto-platform-nlp-keyword-extraction

LINTO-PLATFORM-NLP-KEYWORD-EXTRACTION

镜像概述和主要用途

该镜像用于构建LinTO的NLP关键词提取服务，基于linto-platform-nlp-core开发，可作为独立服务通过HTTP API部署，或集成到LinTO平台栈中作为微服务运行。

前置条件

Docker

关键词提取服务需要Docker环境正常运行。

（微服务）服务代理和共享文件夹

微服务模式下，服务的唯一入口是消息代理上发布的任务。支持的消息代理包括RabbitMQ、Redis、Amazon SQS。此外，为避免大型音频通过消息代理传输，服务需使用共享存储文件夹。

部署方式

linto-platform-nlp-keyword-extraction支持两种部署方式：

• 作为独立关键词提取服务，通过HTTP API提供服务
• 作为连接消息代理的微服务

构建镜像

bash
git clone https://github.com/linto-ai/linto-platform-nlp-keyword-extraction.git
cd linto-platform-nlp-keyword-extraction
docker build . -t linto-platform-nlp-keyword-extraction:latest

HTTP API模式

bash
docker run --rm \
-p HOST_SERVING_PORT:80 \
--env SERVICE_MODE=http \
--env CONCURRENCY=10 \
linto-platform-nlp-keyword-extraction:latest

上述命令将启动一个容器，在主机的HOST_SERVING_PORT端口提供HTTP API服务。

参数说明：

LinTO平台栈内微服务模式

linto-platform-nlp-keyword-extraction可通过linto-platform-services-manager集成到linto-platform-stack中。在此模式下，容器启动celery工作进程，等待消息代理上的关键词提取任务。 任务模式下的LinTO-platform-keyword-extraction不建议手动启动。 如需连接自定义消息代理，需配置以下参数：

需确保消息代理在MY_SERVICE_BROKER地址正常运行。

bash
docker run --rm \
--env SERVICES_BROKER=MY_SERVICE_BROKER \
--env BROKER_PASS=MY_BROKER_PASS \
--env SERVICE_MODE=task \
--env CONCURRENCY=10 \
linto-platform-nlp-keyword-extraction:dev

参数说明：

使用方法

HTTP API

/healthcheck

• 方法：GET
• 描述：返回API状态
• 返回值：健康检查通过时返回"1"

/keyword-extraction

• 方法：POST
• 响应内容类型：application/json
• 请求参数：
  • text: 待处理文本
  • method: 提取算法，可选值："spacy"、"bert"

/docs

提供OpenAPI/swagger-ui接口文档。

通过消息代理

工作进程接受包含以下参数的请求： text: str, method: str

• text: 输入文本
• method: 关键词提取算法

返回格式

包含关键词及其分数的JSON对象（关键词为键，分数为值）。

测试

使用curl测试HTTP API

bash
curl -X POST "http://SERVICE:PORT/keyword_extraction" -H  "accept: text/plain" -H  "Content-Type: application/json" -d "{  \"text\": \"此处为待处理文本。\", \"parameters\": {\"method\": \"spacy\"} }"

许可证

本项目基于AGPLv3许可证开发（详见LICENSE）。