lintoai/linto-stt-nemo

LinTO-STT-NeMo镜像说明

镜像概述

LinTO-STT-NeMo是基于https://github.com/NVIDIA/NeMo构建的语音识别（ASR）API服务镜像，支持离线文件转录和实时流转录，提供多种服务模式和可配置参数，适配多语言模型（如英语、法语），支持GPU加速以提升处理效率。

核心功能

1. 多服务模式：支持HTTP（文件转录）、WebSocket（实时流）、Celery任务（批量处理）三种模式；
2. 多语言支持：适配英语、法语等语言的预训练模型；
3. GPU加速：通过nvidia-container-toolkit利用GPU资源，大幅提升转录速度；
4. 灵活配置：可调整线程数、并发数、长文件处理参数及流转录延迟等；
5. 模型兼容性：支持从HuggingFace加载NVIDIA、Linagora等开源预训练模型。

使用场景

• 批量音频文件转文字（如录音文件处理）；
• 实时语音流转录（如在线会议、直播字幕）；
• 分布式任务队列中的语音处理（结合Celery+Redis）。

配置说明

前置条件

• 安装Docker及nvidia-container-toolkit（GPU支持）；
• 至少15GB磁盘空间，每个模型需额外500MB-5GB存储空间。

快速部署示例

1. 拉取镜像

sh
docker pull docker.xuanyuan.run/lintoai/linto-stt-nemo

2. HTTP模式（文件转录-法语）

sh
docker run -p 8080:80 -it --name linto-stt-nemo \
  -e SERVICE_MODE=http \
  -e MODEL=linagora/linto_stt_fr_fastconformer \
  -e ARCHITECTURE=hybrid_bpe \
  docker.xuanyuan.run/lintoai/linto-stt-nemo

添加--gpus all启用GPU加速。测试命令：

sh
curl -X POST "http://localhost:8080/transcribe" -H "accept: application/json" -H "Content-Type: multipart/form-data" -F "file=@tests/bonjour.wav;type=audio/wav"

3. WebSocket模式（实时流-英语）

sh
docker run -p 8080:80 -it --name linto-stt-nemo \
  -e SERVICE_MODE=websocket \
  -e MODEL=nvidia/stt_en_fastconformer_hybrid_medium_streaming_80ms_pc \
  -e ARCHITECTURE=hybrid_bpe \
  docker.xuanyuan.run/lintoai/linto-stt-nemo

添加-e DEVICE=cuda --gpus all启用GPU加速。测试命令：

sh
python test/test_streaming.py -v --audio_file tests/bonjour.wav

4. Celery任务模式

sh
docker run -p 8080:80 -it --name linto-stt-nemo \
  -e SERVICE_MODE=task \
  -e SERVICE_NAME=stt \
  -e SERVICES_BROKER=redis://172.17.0.1:6379 \
  -e MODEL=nvidia/parakeet-tdt-0.6b-v2 \
  -e ARCHITECTURE=rnnt_bpe \
  -e USER_ID=$(id -u) \
  -e GROUP_ID=$(id -g) \
  -v ~/.cache:/home/appuser/.cache \
  -v ~/data/audio:/opt/audio \
  docker.xuanyuan.run/lintoai/linto-stt-nemo

关键配置参数

NUM_THREADS（CPU线程数）

控制CPU模式下每个 worker 的线程数，转录速度非线性增长，建议根据主机线程数调整。

CONCURRENCY（并发数）

最大并行请求数+1：

• CPU：NUM_THREADS * CONCURRENCY ≤ 主机线程数；
• GPU：建议设为0（单请求），批量处理可单GPU运行一个容器。

长文件处理参数

通过LONG_FILE_THRESHOLD（阈值时长）、LONG_FILE_CHUNK_LEN（ chunk长度）、LONG_FILE_CHUNK_CONTEXT_LEN（重叠时长）拆分长文件，避免内存不足。

流转录调优

通过STREAMING_PAUSE_FOR_FINAL（沉默时长触发最终结果）、STREAMING_MIN_CHUNK_SIZE（最小 chunk 大小）等参数调整延迟和准确性。

模型列表

支持从HuggingFace加载多种预训练模型，包括LinTO法语模型、NVIDIA英法模型等，详细列表及性能指标可参考原文档。

许可证

AGPLv3（详见LICENSE）。