zhangkaifang/whisperx

whisperx Docker镜像文档

镜像概述

本镜像集成了whisperx运行所需的完整环境及模型（包括whisperx(large-v3)及对齐模型），为自动语音识别(ASR)提供高效解决方案。它不仅实现高速度语音文本转换（large-v2模型达70倍实时转录速度），还能提供单词级精确时间戳及说话人识别功能，解决了原生Whisper时间戳精度不足、不支持批处理等问题。

核心功能与特性

• 高速转录：基于whisper large-v2批处理推断，实现70倍于实时的转录速度
• 高效资源利用：采用faster-whisper后端，large-v2配置下GPU内存占用小于8GB（beam_size=5）
• 精确时间戳：通过wav2vec2对齐技术，提供单词级准确时间戳
• 多说话人识别：集成pyannote-audio说话者分辨技术，支持多说话人ASR并附带说话者ID标签
• 预处理优化：实施VAD（语音活动检测）预处理，减少错误识别和批处理错误率，不降低词错误率(WER)

技术背景说明

• 基于音素的ASR：模型被微调以识别区分单词的最小语音单元（如"tap"中的"p"音），代表模型为wav2vec2.0
• 强制对齐：自动将文字转录与音频录音对齐，生成电话级分割
• 语音活动检测(VAD)：判断音频中是否存在人声的技术
• 说话人分离：将含有人声的音频流按不同说话者身份进行分割

使用场景与适用范围

• 语音内容实时转录与存档
• 多说话人会议、访谈的语音转写与 speaker 区分
• 音频内容分析与检索（基于精确时间戳）
• 需要高准确率和时间精度的语音识别应用

使用方法与配置说明

创建容器

版本v1.0（带Jupyter Lab）

shell
docker run --restart=always --gpus all -itd -p 60691:8081 -e "LANG=C.UTF-8" \
--name jupyterlab_whisperX -v /data:/workspace/work \
-e SHELL=/bin/bash \
zhangkaifang/whisperx:v1.0 \
jupyter lab --allow-root --port='8081' --ip='*' --notebook-dir='/workspace/work'

说明：-e SHELL=/bin/bash用于避免终端仅显示#符号；-v /data:/workspace/work将本地/data目录挂载到容器内工作目录

版本v3.0.0

shell
docker run -itd --restart=always --gpus all -p 60691:8888 -v /data:/workspace --hostname whisperx --name whisperx zhangkaifang/whisperx:v3.0.0

启动语音识别

在容器内执行以下命令进行语音识别：

shell
whisperx './zxQyTK8quyY.wav' --model large-v3 --output_dir . --initial_prompt "ChatGPT, LLM, OpenAI, Llama, Claude, DALL-E, Mistral, transformer" --align_model WAV2VEC2_ASR_LARGE_LV60K_960H 

参数说明：

• --model：指定使用的模型（如large-v3）
• --output_dir：输出目录
• --initial_prompt：初始提示文本，帮助模型优化特定领域词汇识别
• --align_model：指定对齐模型

参考

• 项目代码基于：https://github.com/m-bain/whisperx
• 基础镜像基于：pytorch/pytorch:2.0.0-cuda11.7-cudnn8-devel