lintoai/linto-platform-punctuation

LINTO-PLATFORM-PUNCTUATION

LinTO-platform-punctuation是LinTO平台的标点预测服务，可从原始文本或转录内容中预测标点。该服务既可作为独立标点服务使用，也可部署为微服务。

目录

• 先决条件

  • 模型

• 部署

  • HTTP API
  • 微服务

• 使用方法

  • HTTP API
    • /healthcheck
    • /punctuation
    • /docs
  • 使用Celery

• 许可证

先决条件

模型

标点服务依赖于训练好的重排和标点预测模型。以下语言的模型基于Common Crawl训练，可在https://github.com/benob/recasepunc%E8%8E%B7%E5%8F%96%EF%BC%9A

• 法语
  • https://github.com/benob/recasepunc/releases/download/0.3/fr-txt.large.***
  • https://github.com/benob/recasepunc/releases/download/0.3/fr.22000
• 英语
  • https://github.com/benob/recasepunc/releases/download/0.3/en.23000
• 意大利语
  • https://github.com/CoffeePerry/recasepunc/releases/download/v0.1.0/it.22000
• 中文
  • https://github.com/benob/recasepunc/releases/download/0.3/zh.24000

Docker

标点服务需要Docker环境。如需GPU支持，还需安装nvidia-container-toolkit。

（微服务）服务代理

任务模式下的标点服务通过https://github.com/celery/celery%E5%9C%A8REDIS%E6%B6%88%E6%81%AF%E4%BB%A3%E7%90%86%E4%B8%8A%E6%8E%A5%E6%94%B6%E4%BB%BB%E5%8A%A1%E3%80%82

部署

linto-platform-punctuation支持两种部署方式：

• 通过HTTP API作为独立标点服务
• 作为连接到任务队列的微服务

1- 第一步：构建镜像

bash
git clone https://github.com/linto-ai/linto-platform-punctuation.git
cd linto-platform-punctuation
docker build . -t linto-platform-punctuation:latest

或直接拉取镜像：

bash
docker pull registry.linto.ai/lintoai/linto-platform-punctuation:latest

2- 下载模型

将标点模型准备在<MODEL_PATH>路径下。

HTTP API

1- 配置.env文件

bash
cp .env_default .env

填写.env文件参数：

参数说明：

2- Docker运行

bash
docker run --rm \
-v <MODEL_PATH>:/usr/src/app/model-store/model \
-p HOST_SERVING_PORT:80 \
--env-file .env \
linto-platform-punctuation:latest

如需启用GPU，添加--gpus all选项。容器将在主机的HOST_SERVING_PORT端口提供HTTP API服务。

微服务

LinTO-platform-punctuation可部署为微服务，以Celery工作进程形式等待任务队列中的标点任务。任务模式下需要配置REDIS代理。

需在MY_SERVICE_BROKER地址运行消息代理，通常通过Docker Swarm使用docker compose部署：

1- 配置.env文件

bash
cp .env_default .env

填写.env文件参数：

参数说明：

SERVICE_NAME和语言参数请勿使用空格或"_"字符。

2- 配置docker-compose.yml

#docker-compose.yml

yaml
version: '3.7'

services:
  punctuation-service:
    image: linto-platform-punctuation:latest
    volumes:
      - /my/path/to/models/punctuation.mar:/usr/src/app/model-store/model
    env_file: .env
    deploy:
      replicas: 1
    networks:
      - your-net

networks:
  your-net:
    external: true

3- 启动服务

bash
docker stack deploy --resolve-image always --compose-file docker-compose.yml your_stack

队列名称：

默认队列名称格式为punctuation_{LANGUAGE}_{SERVICE_NAME}，可通过QUEUE_NAME环境变量覆盖。

服务发现：

微服务模式下，实例会在服务注册中心注册自身信息，以JSON格式存储在Redis db0中，键为service:{HOST_NAME}。注册信息如下：

json
{
  "service_name": $SERVICE_NAME,
  "host_name": $HOST_NAME,
  "service_type": "punctuation",
  "service_language": $LANGUAGE,
  "queue_name": $QUEUE_NAME,
  "version": "1.2.0", # 仓库版本
  "info": "法语标点预测模型",
  "last_alive": 65478213,
  "concurrency": 1
}

使用方法

HTTP API

/healthcheck

返回API状态

方法：GET

健康检查通过时返回"1"。

/punctuation

标点预测API

• 方法：POST
• 响应格式：text/plain 或 application/json
• 请求体：JSON对象，结构如下：

json
{
  "sentences": [
    "this is sentence 1", "is that a second sentence", "yet an other sentence"
  ]
}

返回带标点的文本，JSON结构如下：

json
{
  "punctuated_sentences": [
    "This is sentence 1",
    "Is that a second sentence ?",
    "Yet an other sentence"
  ]
}

/docs

提供OpenAPI/swagger接口文档。

使用Celery

标点工作进程接受带以下参数的Celery任务： text: Union[str, List[str]]

• text：（字符串或列表）单个句子或句子列表。

返回格式

根据输入参数类型返回字符串或字符串列表。

测试

Curl

可使用curl测试HTTP API：

bash
curl -X POST "http://YOUR_SERVICE:YOUR_PORT/punctuation" -H  "accept: application/json" -H  "Content-Type: application/json" -d "{  \"sentences\": [    \"this is sentence 1\", \"is that a second sentence\", \"yet an other sentence\"  ]}"

许可证

本项目基于AGPLv3许可证开发（详见LICENSE）。

致谢

• https://github.com/benob/recasepunc - 用于训练重排和标点模型的Python库（BSD 3许可证）。