lintoai/linto-platform-stt

LINTO-PLATFORM-STT

LinTO-platform-stt是https://github.com/linto-ai/linto-platform-stack%E4%B8%AD%E7%9A%84%E8%BD%AC%E5%BD%95%E6%9C%8D%E5%8A%A1%E3%80%82%E5%AE%83%E6%97%A2%E5%8F%AF%E4%BB%A5%E4%BD%9C%E4%B8%BA%E7%8B%AC%E7%AB%8B%E8%BD%AC%E5%BD%95%E6%9C%8D%E5%8A%A1%E4%BD%BF%E7%94%A8%EF%BC%8C%E4%B9%9F%E5%8F%AF%E4%BB%A5%E5%9C%A8%E5%BE%AE%E6%9C%8D%E5%8A%A1%E6%9E%B6%E6%9E%84%E4%B8%AD%E9%80%9A%E8%BF%87%E6%B6%88%E6%81%AF%E4%BB%A3%E7%90%86%E8%BF%9E%E6%8E%A5%E5%99%A8%E9%83%A8%E7%BD%B2%E3%80%82

前置条件

硬件要求

运行转录模型需要：

• 至少7GB磁盘空间用于构建Docker镜像
• 根据使用的模型，最多需要7GB内存
• 每个worker需要1个CPU，推理时间随CPU性能变化

模型支持

LinTO-Platform-STT支持两种类型的模型：

• LinTO声学和语言模型
• Vosk模型

我们在https://doc.linto.ai/docs/developpers/apis/ASR/models%E6%8F%90%E4%BE%9B%E8%87%AA%E7%A0%94%E6%A8%A1%E5%9E%8B%EF%BC%88v2%EF%BC%89%EF%BC%8C%E4%B9%9F%E5%8F%AF%E4%BD%BF%E7%94%A8%E6%AD%A4%E5%A4%84%E6%8F%90%E4%BE%9B%E7%9A%84Vosk%E6%A8%A1%E5%9E%8B%E3%80%82

Docker环境

转录服务需要Docker已安装并运行。

（微服务）服务代理和共享文件夹

任务模式下，STT的唯一入口是发布到消息代理的任务。支持的消息代理包括RabbitMQ、Redis、Amazon SQS。此外，为避免大型音频通过消息代理传输，STT-Worker使用共享存储文件夹（SHARED_FOLDER）。

部署linto-platform-stt

1- 第一步：构建或拉取镜像

bash
git clone https://github.com/linto-ai/linto-platform-stt.git
cd linto-platform-stt
docker build . -t linto-platform-stt:latest

或

bash
docker pull docker.xuanyuan.run/lintoai/linto-platform-stt

2- 下载模型

如果使用LinTO模型，需准备好声学模型（AM_PATH）和语言模型（LM_PATH）；如果使用Vosk模型，需准备好模型（MODEL）。

3- 配置.env文件

bash
cp .envdefault .env

服务模式

!服务模式

STT有三种使用方式：

• 通过HTTP API使用http模式
• 通过消息代理使用task模式
• 通过websocket服务器使用websocket模式

通过.env值或环境变量SERVING_MODE指定模式：

bash
SERVICE_MODE=http

HTTP服务器

HTTP服务模式部署HTTP服务器和swagger-ui，允许在专用路由上处理转录请求。

.env中的SERVICE_MODE值应设置为http。

bash
docker run --rm \
-p HOST_SERVING_PORT:80 \
-v AM_PATH:/opt/AM \
-v LM_PATH:/opt/LM \
--env-file .env \
docker.xuanyuan.run/linto-platform-stt:latest

这将运行一个容器，提供绑定到主机HOST_SERVING_PORT端口的HTTP API。

参数：

LinTO-platform-stack中的微服务

HTTP服务模式将celery worker连接到消息代理。

.env中的SERVICE_MODE值应设置为task。

LinTO-platform-stt可通过linto-platform-services-manager部署在linto-platform-stack中。这种方式下，容器生成celery worker，等待消息代理上的转录任务。任务模式下的LinTO-platform-stt不建议手动启动。如果要连接到自定义消息代理，参数如下：

需要在MY_SERVICE_BROKER处运行消息代理。

bash
docker run --rm \
-v AM_PATH:/opt/AM \
-v LM_PATH:/opt/LM \
-v SHARED_AUDIO_FOLDER:/opt/audio \
--env-file .env \
docker.xuanyuan.run/linto-platform-stt:latest

参数：

WebSocket服务器

WebSocket服务器模式仅部署流式转录服务。

.env中的SERVICE_MODE值应设置为websocket。

使用方式与HTTP流式API相同。

使用方法

HTTP API

/healthcheck

返回API状态

方法：GET

健康检查通过时返回"1"。

/transcribe

转录API

• 方法：POST
• 响应内容：text/plain或application/json
• 文件：16位16KHz的Wave文件

使用"text/plain"返回转录文本，使用"application/json"返回如下结构的JSON对象：

json
{
  "text" : "这是转录文本",
  "words" : [
    {"word":"这是", "start": 0.123, "end": 0.453, "conf": 0.9},
    ...
  ]
  "confidence-score": 0.879
}

/streaming

若ENABLE_STREAMING环境变量设为true，则可访问/streaming路由。

该路由接受WebSocket连接。交互流程如下：

1. 客户端发送JSON {"config": {"sample_rate":***}}。
2. 客户端发送音频块（转至3）或{"eof" : 1}（转至5）。
3. 服务器发送部分结果{"partial" : "这是一个 "}或最终结果{"text": "这是一个转录文本"}。
4. 返回步骤2。
5. 服务器发送最终结果并关闭连接。

若10秒内未收到音频块，连接将关闭并释放worker。

/docs

/docs路由提供OpenAPI/swagger界面。

通过消息代理

STT-Worker接受包含以下参数的请求： file_path: str, with_metadata: bool

• file_path：共享文件夹内文件的位置。/.../SHARED_FOLDER/{file_path}
• with_metadata：若为True，将计算并返回单词时间戳和置信度；若为False，相关字段为空。

返回格式

成功转录后，返回如下结构的JSON对象：

json
{
    "text" : "这是转录文本",
    "words": [
        {
        "word" : "这是",
        "start": 0.0,
        "end": 0.124,
        "conf": 1.0
        },
        ...
    ],
    "confidence-score": ""
}

• text字段包含原始转录文本。
• word字段包含每个单词及其时间戳和单独的置信度（with_metadata=False时为空）。
• confidence字段包含转录的总体置信度（with_metadata=False时为0.0）。

测试

Curl

可使用curl测试HTTP API：

bash
curl -X POST "http://YOUR_SERVICE:YOUR_PORT/transcribe" -H  "accept: application/json" -H  "Content-Type: multipart/form-data" -F "file=@YOUR_FILE;type=audio/x-wav"

许可证

本项目基于AGPLv3许可证开发（参见LICENSE）。

致谢

• Vosk语音识别工具包
• https://github.com/kaldi-asr/kaldi