lintoai/linto-punctuation

LINTO-PUNCTUATION

LinTO-Punctuation是LinTO项目的标点预测服务，可从原始文本或转录文本中预测标点。该服务既可作为独立标点服务使用，也可部署为微服务。

目录

• 前提条件
  • 模型
• 部署
  • HTTP服务
  • 微服务
• 使用方法
  • HTTP API
    • /healthcheck
    • /punctuation
    • /docs
  • 使用Celery
• 许可证

前提条件

模型

标点服务依赖已训练的大小写恢复和标点预测模型。部分基于Common Crawl训练的模型可在https://github.com/benob/recasepunc获取，支持以下语言：

• 法语
  • https://github.com/benob/recasepunc/releases/download/0.3/fr-txt.large.***
  • https://github.com/benob/recasepunc/releases/download/0.3/fr.22000
• 英语
  • https://github.com/benob/recasepunc/releases/download/0.3/en.23000
• 意大利语
  • https://github.com/CoffeePerry/recasepunc/releases/download/v0.1.0/it.22000
• 中文
  • https://github.com/benob/recasepunc/releases/download/0.3/zh.24000

Docker

标点服务需要Docker环境。如需GPU支持，还需安装https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html。

（微服务）消息代理

微服务模式下，服务通过https://github.com/celery/celery从REDIS消息代理获取任务。

部署

linto-punctuation支持两种部署方式：

• 作为独立服务，通过HTTP API提供功能
• 作为微服务，连接到任务队列

1- 第一步：构建镜像

bash
git clone https://github.com/linto-ai/linto-punctuation.git
cd linto-punctuation
docker build . -t linto-punctuation:latest

或直接拉取镜像：

bash
docker pull registry.linto.ai/lintoai/linto-punctuation:latest

2- 下载模型

将标点模型准备在<MODEL_PATH>文章来源：https://github.com/benob/recasepunc 。

部署为HTTP服务

1- 配置.env文件

bash
cp .env_default .env

填写以下参数：

2- 运行容器

bash
docker run --rm \
-v <MODEL_PATH>:/usr/src/app/model-store/model \
-p 8080:80 \
--env-file .env \
docker.xuanyuan.run/linto-punctuation:latest

如需使用GPU，添加--gpus all参数。 容器将在主机的8080端口提供HTTP服务。

部署为微服务

LinTO-Punctuation可作为微服务部署，此时容器运行Celery工作进程，从队列中获取并处理任务。需预先部署Redis作为消息代理。

1- 配置.env文件

bash
cp .env_default .env

填写以下参数：

服务名称和语言参数中不能包含空格或下划线。

2- 配置docker-compose.yml

yaml
version: '3.7'

services:
  punctuation-service:
    image: docker.xuanyuan.run/linto-punctuation:latest
    volumes:
      - /path/to/models/punctuation.mar:/usr/src/app/model-store/model
    env_file: .env
    deploy:
      replicas: 1
    networks:
      - your-net

networks:
  your-net:
    external:
      name: your-net

3- 启动服务

bash
docker stack deploy --resolve-image always --compose-file docker-compose.yml your_stack

队列名称：默认情况下，队列名称格式为punctuation_{LANGUAGE}_{SERVICE_NAME}，也可通过QUEUE_NAME参数自定义。

服务发现：微服务会在Redis的db0中注册自身信息，键为service:{HOST_NAME}，内容如下：

json
{
  "service_name": "punctuation-ml",
  "host_name": "container-id",
  "service_type": "punctuation",
  "service_language": "en-US",
  "queue_name": "punctuation_en-US_punctuation-ml",
  "version": "1.2.0",
  "info": "基于BERT的法语标点预测模型",
  "last_alive": 1620000000,
  "concurrency": 4
}

用法

HTTP API

/healthcheck

• 方法：GET
• 返回：若服务正常运行，返回"1"。

/punctuation

• 方法：POST
• 请求体：JSON格式，包含待处理的句子数组。

  json
  {
    "sentences": ["this is sentence 1", "is that a second sentence", "yet an other sentence"]
  }
  

• 响应：JSON格式，包含处理后的带标点的句子数组。

  json
  {
    "punctuation": [
      "This is sentence 1",
      "Is that a second sentence?",
      "Yet an other sentence"
    ]
  }
  

/docs

提供OpenAPI/swagger接口文档。

使用Celery

Celery任务接受一个参数：text，类型为字符串或字符串数组。

参数：

• text：待处理的句子或句子数组。

返回值：与输入对应，返回处理后的文本或文本数组。

测试

可使用curl测试HTTP API：

bash
curl -X POST "http://YOUR_SERVICE:YOUR_PORT/punctuation" -H "Content-Type: application/json" -d '{"sentences": ["hello world", "how are you"]}'

许可证

本项目基于AGPLv3许可证（详见LICENSE）。

致谢

• https://github.com/benob/recasepunc：用于训练和应用标点和大小写恢复模型，采用BSD 3许可证。