ghcr.io/coqui-ai/tts:675f98355077310f4f0fbb88fdb135730d0426f2

🐸Coqui.ai 最新动态

• 📣 ⓍTTSv2 已发布，支持16种语言，整体性能全面提升。
• 📣 ⓍTTS微调代码已开放。查看https://github.com/coqui-ai/TTS/tree/dev/recipes/ljspeech%E3%80%82
• 📣 ⓍTTS现在可支持流式传输。

🐸TTS 是一个用于高级文本转语音（Text-to-Speech）生成的库。

🚀 支持超过1100种语言的预训练模型。

🛠️ 用于训练新模型和微调任意语言现有模型的工具。

📚 用于数据集分析和整理的实用程序。

---

---

💬 问题咨询渠道

请使用我们的专用渠道进行问题咨询和讨论。公开分享的帮助更有价值，能让更多人从中受益。

🔗 链接与资源

🥇 TTS 性能

带下划线的 "TTS*" 和 "Judy*" 是 内部 🐸TTS 模型，未开源。展示这些模型是为了体现潜在能力。前缀为点（.Jofish .Abe 和 .Janice）的模型是真实人类声音。

特性

• 用于文本转语音（Text2Speech）任务的高性能深度学习模型。
• Text2Spec 模型（Tacotron、Tacotron2、Glow-TTS、SpeedySpeech）。
• 用于高效计算说话人嵌入的说话人编码器（Speaker Encoder）。
• 声码器模型（MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN）。
• 快速高效的模型训练。
• 终端和 Tensorboard 上的详细训练日志。
• 支持多说话人 TTS。
• 高效、灵活、轻量级但功能完备的 Trainer API。
• 已发布且可直接使用的模型。
• 用于整理文本转语音数据集的工具，位于 dataset_analysis 目录下。
• 用于使用和测试模型的实用程序。
• 模块化（但不过度模块化）的代码库，便于实现新想法。

模型实现

频谱图模型

• Tacotron: 论文
• Tacotron2: 论文
• Glow-TTS: 论文
• Speedy-Speech: 论文
• Align-TTS: 论文
• FastPitch: 论文
• FastSpeech: 论文
• FastSpeech2: 论文
• SC-GlowTTS: 论文
• Capacitron: 论文
• OverFlow: 论文
• Neural HMM TTS: 论文
• Delightful TTS: 论文

端到端模型

• ⓍTTS: 博客
• VITS: 论文
• 🐸 YourTTS: 论文
• 🐢 Tortoise: https://github.com/neonbjb/tortoise-tts
• 🐶 Bark: https://github.com/suno-ai/bark

注意力机制

• Guided Attention: 论文
• Forward Backward Decoding: 论文
• Graves Attention: 论文
• Double Decoder Consistency: 博客
• Dynamic Convolutional Attention: 论文
• Alignment Network: 论文

说话人编码器

• GE2E: 论文
• Angular Loss: 论文

声码器

• MelGAN: 论文
• MultiBandMelGAN: 论文
• ParallelWaveGAN: 论文
• GAN-TTS discriminators: 论文
• WaveRNN: https://github.com/fatchord/WaveRNN/
• WaveGrad: 论文
• HiFiGAN: 论文
• UnivNet: 论文

语音转换

• FreeVC: 论文

您也可以帮助我们实现更多模型。

安装

🐸TTS 在 Ubuntu 18.04 上测试通过，要求 python >= 3.9。

您可以在此处找到语言 ISO 代码，在https://github.com/***research/fairseq/tree/main/examples/mms%E4%BA%86%E8%A7%A3 Fairseq 模型。

# 实时语音转换的 TTS
api = TTS("tts_models/deu/fairseq/vits")
api.tts_with_vc_to_file(
"Wie sage ich auf Italienisch, dass ich dich liebe?",
speaker_wav="target/speaker.wav",
file_path="output.wav"
)

命令行 tts

通过命令行合成语音。

您可以使用训练好的模型，或从提供的列表中选择模型。

如果未指定任何模型，将默认使用基于 LJSpeech 的英文模型。

单说话人模型

• 列出提供的模型：

$ tts --list_models

• 获取模型信息（适用于 tts_models 和 vocoder_models）：

• 按类型/名称查询： model_info_by_name 使用 --list_models 输出中的名称。

$ tts --model_info_by_name " / / / "

例如：

$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
$ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2

• 按类型/索引查询： model_query_idx 使用 --list_models 输出中对应的索引。

$ tts --model_info_by_idx " / "

例如：

$ tts --model_info_by_idx tts_models/3

• 按全名查询模型信息：

$ tts --model_info_by_name " / / / "

• 使用默认模型运行 TTS：

$ tts --text "Text for TTS" --out_path output/path/speech.wav

• 运行 TTS 并通过管道输出生成的 TTS wav 文件数据：

$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay

• 使用模型默认的声码器运行 TTS 模型：

$ tts --text "Text for TTS" --model_name " / / / " --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav

• 使用列表中的特定 TTS 和声码器模型运行：

$ tts --text "Text for TTS" --model_name " / / / " --vocoder_name " / / / " --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav

• 运行自定义 TTS 模型（使用 Griffin-Lim 声码器）：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav

• 运行自定义 TTS 和声码器模型：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav --vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json

多说话人模型

• 列出可用说话人并选择：

$ tts --model_name " / / " --list_speaker_idxs

• 使用目标说话人 ID 运行多说话人 TTS 模型：

$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name " / / " --speaker_idx

• 运行自定义多说话人 TTS 模型：

$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx

语音转换模型

$ tts --out_path output/path/speech.wav --model_name " / / " --source_wav --target_wav

目录结构

|- notebooks/ （用于模型评估、参数选择和数据分析的Jupyter笔记本。）
|- utils/ （通用实用程序。）
|- TTS
|- bin/ （所有可执行文件的文件夹。）
|- train*.py （训练目标模型。）
|- ...
|- tts/ （文本转语音模型）
|- layers/ （模型层定义）
|- models/ （模型定义）
|- utils/ （模型特定的实用程序。）
|- speaker_encoder/ （说话人编码器模型。）
|- (same)
|- vocoder/ （声码器模型。）
|- (same)