evilfreelancer/whisper-server

Docker中的Whisper.cpp API Web服务器

基于Whisper.cpp的Docker化HTTP转录服务器，提供类OAI API接口。

本项目提供一个基于https://github.com/ggerganov/whisper.cpp/tree/master/examples/server%E7%9A%84Docker%E5%8C%96%E8%BD%AC%E5%BD%95%E6%9C%8D%E5%8A%A1%E5%99%A8%E3%80%82

核心功能和特性

• Docker化的whisper.cpp HTTP服务器，用于音频转录
• 通过环境变量进行配置
• 自动将音频转换为WAV格式
• 启动时自动下载所需模型
• 可在启动时将任何Whisper模型量化为所需类型

使用场景和适用范围

适用于需要音频转录服务的场景，如语音识别、会议记录转录、语音转文字应用等。由于镜像的计算需求，需在配备支持现代CUDA的GPU或Intel Arc显卡的机器上运行。

系统要求

开始前，请确保您的机器配备支持现代CUDA的GPU或Intel Arc显卡，以满足镜像的计算需求：

• Nvidia GPU / Intel Arc显卡
• CUDA / oneAPI
• Docker
• Docker Compose
• Nvidia Docker Runtime（仅Nvidia）

有关如何准备Linux机器运行神经网络的详细说明，包括CUDA、Docker和Nvidia Docker Runtime的安装，请参考俄语出版物"如何准备Linux以运行和训练神经网络？（+ Docker）"。

安装和使用方法

1. 克隆仓库并切换到源码根目录

shell
git clone https://github.com/EvilFreelancer/docker-whisper-server.git
cd docker-whisper-server

2. 复制提供的Docker Compose模板

shell
cp docker-compose.dist.yml docker-compose.yml

Intel Arc显卡示例配置

yaml
x-shared-logs: &shared-logs
   logging:
      driver: "json-file"
      options:
         max-size: "10k"

services:
  whisper-intel:
    restart: "unless-stopped"
    build:
      context: ./whisper
      dockerfile: Dockerfile.intel  
      args:
        - WHISPER_VERSION=v1.7.4
    devices:
       - /dev/dri
    volumes:
      - ./models:/app/models
    ports:
      - "127.0.0.1:9000:9000"
    environment:
      WHISPER_MODEL: large-v3-turbo
      WHISPER_MODEL_QUANTIZATION: q4_0
    <<: *shared-logs

3. 构建Docker镜像

shell
docker-compose build

4. 启动服务

shell
docker-compose up -d

5. 在浏览器中访问 http://localhost:8080

!Swagger UI

API端点

/inference

转录音频文件：

shell
curl 127.0.0.1:9000/inference \
  -H "Content-Type: multipart/form-data" \
  -F file="@<文件路径>" \
  -F temperature="0.0" \
  -F temperature_inc="0.2" \
  -F response_format="json"

/load

加载新的Whisper模型：

shell
curl 127.0.0.1:9000/load \
   -H "Content-Type: multipart/form-data" \
   -F model="<Docker容器内的模型文件路径>"

环境变量

基本配置

相关链接

• https://github.com/ggerganov/whisper.cpp
• https://github.com/ggerganov/whisper.cpp/tree/master/examples/server

引用

text
[Pavel Rykov]. (2024). Docker中的Whisper.cpp API Web服务器. GitHub. https://github.com/EvilFreelancer/docker-whisper-server

text
@misc{pavelrykov2024whisperapi,
  author = {Pavel Rykov},
  title  = {Docker中的Whisper.cpp API Web服务器},
  year   = {2024},
  url    = {https://github.com/EvilFreelancer/docker-whisper-server}
}