daswer123/xtts-api-server

XTTSv2 FastAPI服务器

镜像概述和主要用途

本项目是一个基于FastAPI的XTTSv2服务器，灵感来源于https://github.com/ouoertheo/silero-api-server%EF%BC%8C%E5%B9%B6%E4%BD%BF%E7%94%A8https://github.com/coqui-ai/TTS%E6%A8%A1%E5%9E%8B%E3%80%82%E4%B8%BB%E8%A6%81%E4%B8%BAhttps://github.com/SillyTavern/SillyTavern%E8%AE%BE%E8%AE%A1%EF%BC%8C%E4%B9%9F%E5%8F%AF%E6%BB%A1%E8%B6%B3%E5%85%B6%E4%BB%96%E6%96%87%E6%9C%AC%E8%BD%AC%E8%AF%AD%E9%9F%B3%E9%9C%80%E6%B1%82%E3%80%82%E6%8F%90%E4%BE%9B%E8%AF%AD%E9%9F%B3%E5%85%8B%E9%9A%86%E3%80%81%E6%A8%A1%E5%9E%8B%E5%8A%A0%E9%80%9F%E3%80%81%E6%B5%81%E4%BC%A0%E8%BE%93%E7%AD%89%E5%8A%9F%E8%83%BD%EF%BC%8C%E6%94%AF%E6%8C%81%E8%87%AA%E5%AE%9A%E4%B9%89%E9%85%8D%E7%BD%AE%E5%92%8C%E6%89%A9%E5%B1%95%E3%80%82

核心功能和特性

• 基于XTTSv2模型实现高质量文本转语音
• 支持语音克隆，通过说话人样本生成特定语音
• 多种模型源选择（local、apiManual、api），灵活控制模型加载方式
• DeepSpeed加速技术，提升处理速度2-3倍
• 流模式支持，实现低延迟音频播放
• 结果缓存机制，重复请求直接返回文件，节省计算资源
• 支持自定义模型加载和多样本说话人管理
• 提供交互式API文档，便于集成和调试

使用场景和适用范围

• 与SillyTavern集成，提供对话语音输出
• 开发自定义TTS应用，需要高质量语音生成
• 语音克隆应用，生成特定人物的语音
• 资源有限环境（提供Google Colab版本）

详细使用方法和配置说明

启动服务器

默认启动命令（运行在localhost:8020）：

bash
python -m xtts_api_server

使用DeepSpeed加速（提升2-3倍处理速度）：

bash
python -m xtts_api_server --deepspeed

命令行参数说明

usage: xtts_api_server [-h] [-hs HOST] [-p PORT] [-d DEVICE] [-sf SPEAKER_FOLDER] [-o OUTPUT] [-mf MODELS_FOLDERS] [-t TUNNEL_URL] [-ms MODEL_SOURCE] [-v MODEL_VERSION] [--listen] [--use-cache] [--lowvram] [--deepspeed] [--streaming-mode] [--streaming-mode-improve] [--stream-play-sync]

主要参数说明：

• -hs HOST, --host HOST: 指定主机地址
• -p PORT, --port PORT: 指定端口号
• -d DEVICE, --device DEVICE: 运行设备，可选cpu或cuda（可指定显卡如cuda:0）
• -sf SPEAKER_FOLDER, --speaker-folder: 说话人样本文件夹路径
• -o OUTPUT, --output: 音频输出文件夹
• -mf MODELS_FOLDERS, --model-folder: 模型存储文件夹，微调模型需存放于此
• -t TUNNEL_URL, --tunnel: 隧道URL（如***、localtunnel），用于生成说话人预览链接
• -ms MODEL_SOURCE, --model-source: 模型源，可选值：
  • local: 默认加载v2.0.2，可通过-v指定版本，使用XttsConfig和inference
  • apiManual: 默认加载v2.0.2，可通过-v指定版本，使用TTS api的tts_to_file函数
  • api: 加载最新模型，-v参数无效
• -v MODEL_VERSION, --version: 模型版本，与HuggingFace XTTS-v2分支名对应（如v2.0.2、v2.0.3、main等）
• --listen: 允许外部访问，等同于-hs 0.0.0.0
• --use-cache: 启用结果缓存，重复请求直接返回文件
• --lowvram: 低显存模式，模型存储在RAM，处理时移至VRAM
• --deepspeed: 启用DeepSpeed加速
• --streaming-mode: 启用基础流模式
• --streaming-mode-improve: 启用改进版流模式（需额外2GB显存，支持复杂语言）
• --stream-play-sync: 流模式同步播放，按队列顺序播放音频

模型加载

• 首次运行或生成语音时，需确认同意使用XTTS模型
• 加载自定义模型：在models文件夹中创建子文件夹，放入config.json、vocab.json、model.pth三个文件

添加说话人

• 默认创建speakers文件夹，放入WAV格式语音样本
• 可创建子文件夹存放多个样本，以提高语音克隆准确性

API文档

访问 http://localhost:8020/docs 查看交互式API文档。

关于流模式

流模式可实现音频的快速生成和播放，但存在以下限制：

1. 仅支持本地计算机使用
2. 音频从本地计算机播放
3. 仅支持tts_to_audio端点，tts_to_file端点不工作（返回1秒静音）

改进版流模式适用于中文、日语、印地语等复杂语言，或需要更多上下文处理语音的场景。

语音克隆样本制作建议

根据Reddit用户Material1276的建议：

• 样本长度控制在7-9秒
• 音频格式需为单声道（Mono）、22050Hz、16位WAV
• 使用Audacity处理步骤：
  1. Tracks → Resample至22050Hz
  2. Tracks → Mix → Stereo to Mono
  3. 导出为22050Hz WAV
• 音频清理需在格式转换前完成
• 避免背景噪音、音乐和呼吸声
• 样本应为流畅语音，无大停顿，能展示说话人音域

致谢

1. 感谢Kolja Beigel的https://github.com/KoljaB/RealtimeTTS%E4%BB%93%E5%BA%93%EF%BC%8C%E9%83%A8%E5%88%86%E4%BB%A3%E7%A0%81%E6%9D%A5%E6%BA%90%E4%BA%8E%E6%AD%A4
2. 感谢erew123提供的样本制作建议和模型下载代码
3. 感谢lendot帮助修复多进程bug并添加多样本说话人支持