drmarty/faster-whisper-server

Faster Whisper Server (CUDA) 镜像文档

镜像概述

本镜像为基于CUDA加速的Faster Whisper Server实例，旨在提供高效的语音识别服务。Faster Whisper是OpenAI Whisper模型的优化实现，结合CUDA技术可显著提升语音处理性能，适用于需要实时或批量语音转文字的场景。该镜像源自GitHub项目https://github.com/fedirz/faster-whisper-server%E3%80%82

核心功能与特性

• Faster Whisper优化：基于Faster Whisper实现，相比原生Whisper具有更快的推理速度和更低的资源占用
• CUDA加速：利用NVIDIA GPU的CUDA核心进行并行计算，大幅提升语音识别效率
• 服务化部署：以HTTP服务形式运行，提供RESTful API接口，便于集成到各类应用系统
• 多语言支持：支持多种语言的语音识别，包括英语、中文、日语等
• 模型灵活性：可配置使用不同规模的Whisper模型（如base、medium、large等），平衡识别精度与性能

使用场景

• 实时语音转文字应用（如会议记录、实时字幕生成）
• 语音内容分析与处理系统（如语音指令识别、语音数据挖掘）
• 需要高效语音识别的后端服务（如客服语音转文本、语音助手）
• 大规模语音数据批量处理任务（如音频文件转写、语音档案归档）

使用方法

前提条件

• 已安装Docker Engine
• 拥有支持CUDA的NVIDIA GPU，且已配置NVIDIA Docker运行时（nvidia-docker）

基本部署（docker run）

bash
docker run -d --gpus all -p 8000:8000 --name faster-whisper-server docker.xuanyuan.run/fedirz/faster-whisper-server:latest

配置参数（环境变量）

自定义配置部署示例

bash
docker run -d --gpus all -p 8080:8080 \
  -e MODEL_NAME=medium \
  -e LANGUAGE=zh \
  -e BEAM_SIZE=3 \
  -e COMPUTE_TYPE=int8 \
  --name faster-whisper-server-custom docker.xuanyuan.run/fedirz/faster-whisper-server:latest

服务验证

服务启动后，可通过访问http://localhost:<PORT>/docs查看API文档（Swagger UI），或使用curl测试语音转文字功能：

bash
# 转录本地音频文件
curl -X POST "http://localhost:8000/transcribe" \
  -H "Content-Type: multipart/form-data" \
  -F "file=@/path/to/your/audio.wav"

docker-compose配置示例

yaml
version: '3.8'
services:
  faster-whisper-server:
    image: fedirz/faster-whisper-server:latest
    restart: always
    ports:
      - "8000:8000"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      - MODEL_NAME=large-v2
      - LANGUAGE=zh
      - PORT=8000
      - BEAM_SIZE=5