rushiy26/whisper-server

Ultra Fast Smart Whisper Server

高性能音频转录服务器，针对RunPod.io优化，具备智能模型管理和可配置批处理功能。最新文档可查看https://github.com/Timur-Cheryapov/whisper-server%E3%80%82

性能评估

使用24GB CUDA GPU，设置batch_size=256时，服务器可处理test_input.json中1.5小时长的音频文件，耗时约52秒，冷启动时间约10秒。

核心功能与特性

• 单模型与优化批处理：通过大批次大小实现高效VRAM利用率
• 针对大音频文件优化：在批量音频处理场景下表现卓越
• 可配置批处理大小：通过环境变量适配不同GPU类型
• 快速冷启动：延迟加载机制，仅初始化单个模型
• 简单可靠：无复杂模型管理开销

使用场景与适用范围

适用于需要高效处理大规模音频转录任务的场景，尤其适合在RunPod.io等云平台部署，支持不同VRAM配置的GPU环境，可处理从短音频到数小时长音频的转录需求。

使用方法与配置说明

环境变量配置

根据GPU类型配置批处理大小：

bash
# 适用于RTX 4090（24GB VRAM）
MODEL_BATCH_SIZE=256

# 适用于RTX 4000（16GB VRAM）
MODEL_BATCH_SIZE=128

# 适用于A100（40GB VRAM）
MODEL_BATCH_SIZE=512

模型缓存

缓存的模型和预处理器应位于/src/whisper_model_cache目录。该目录未包含在仓库中（约1.5GB），可通过save_pipeline.py文件创建。运行handler.py时可能会因配置中的某个值（具体记不清）引发错误，需在代码库中搜索并删除主JSON文件中的该值即可正常使用。

RunPod无服务器部署

1. 构建并推送Docker镜像：

   bash
   docker build --platform linux/amd64 -t your-username/whisper-server:v1.0.0 .
   docker push your-username/whisper-server
   

2. 创建带环境变量的RunPod端点

3. 部署并通过音频URL进行测试

示例请求

json
{
  "input": {
    "audio_url": "https://example.com/audio.wav"
  }
}

性能特性

冷启动优化

• 快速初始化：单模型加载仅需3-4秒
• 延迟加载：模型仅在首次请求时加载
• 无额外开销：简单可靠的单模型架构

批处理能力

• 高效利用：可配置的大批次大小实现最优VRAM使用
• GPU适配：针对不同GPU类型提供批处理大小建议
• 性能优势：在处理大音频文件时表现优于标准实现

配置参数

推荐GPU批处理大小

通过环境变量设置：MODEL_BATCH_SIZE=128

架构设计

• 单模型架构：简单高效的单一模型设计
• 延迟加载机制：模型在首次请求时加载，减少冷启动时间
• 优化批处理：大批次大小最大化GPU利用率
• 可靠性：无复杂线程或模型管理逻辑