ghcr.io/coqui-ai/tts-cpu:9c8ead23e88b0ac42569d0e1dd17c206c848e1fb

🐸Coqui.ai 新闻

• 📣 ⓍTTSv2 已发布，支持 16 种语言，整体性能更优。
• 📣 ⓍTTS 微调代码已推出。查看 https://github.com/coqui-ai/TTS/tree/dev/recipes/ljspeech%E3%80%82
• 📣 ⓍTTS 现在支持流式传输

🐸TTS 是一个用于高级文本转语音（Text-to-Speech）生成的库。

🚀 支持 1100 多种语言的预训练模型。

🛠️ 用于训练新模型和微调任意语言现有模型的工具。

📚 用于数据集分析和整理的实用程序。

---

---

💬 提问渠道

请使用我们的专用渠道进行提问和讨论。公开分享的帮助更有价值，能让更多人从中受益。

🔗 链接与资源

🥇 TTS 性能

带下划线的 "TTS*" 和 "Judy*" 是 内部 🐸TTS 模型，未开源发布。列出这些模型是为了展示潜在能力。以点开头的模型（.Jofish、.Abe 和 .Janice）是真实人类语音。

特性

• 用于文本转语音（Text2Speech）任务的高性能深度学习模型。
• Text2Spec 模型（Tacotron、Tacotron2、Glow-TTS、SpeedySpeech）。
• 用于高效计算说话人嵌入的说话人编码器（Speaker Encoder）。
• 声码器模型（MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN）。
• 快速高效的模型训练。
• 终端和 Tensorboard 上的详细训练日志。
• 支持多说话人 TTS。
• 高效、灵活、轻量级但功能完备的 Trainer API。
• 已发布且可直接使用的模型。
• dataset_analysis 下用于整理文本转语音数据集的工具。
• 用于使用和测试模型的实用程序。
• 模块化（但不过度模块化）的代码库，便于实现新想法。

模型实现

频谱图模型

• Tacotron: 论文
• Tacotron2: 论文
• Glow-TTS: 论文
• Speedy-Speech: 论文
• Align-TTS: 论文
• FastPitch: 论文
• FastSpeech: 论文
• FastSpeech2: 论文
• SC-GlowTTS: 论文
• Capacitron: 论文
• OverFlow: 论文
• Neural HMM TTS: 论文
• Delightful TTS: 论文

端到端模型

• ⓍTTS: 博客
• VITS: 论文
• 🐸 YourTTS: 论文
• 🐢 Tortoise: https://github.com/neonbjb/tortoise-tts
• 🐶 Bark: https://github.com/suno-ai/bark

注意力机制

• Guided Attention: 论文
• Forward Backward Decoding: 论文
• Graves Attention: 论文
• Double Decoder Consistency: 博客
• Dynamic Convolutional Attention: 论文
• Alignment Network: 论文

说话人编码器

• GE2E: 论文
• Angular Loss: 论文

声码器

• MelGAN: 论文
• MultiBandMelGAN: 论文
• ParallelWaveGAN: 论文
• GAN-TTS discriminators: 论文
• WaveRNN: https://github.com/fatchord/WaveRNN/
• WaveGrad: 论文
• HiFiGAN: 论文
• UnivNet: 论文

语音转换

• FreeVC: 论文

您也可以帮助我们实现更多模型。

安装

🐸TTS 在 Ubuntu 18.04 系统，Python >= 3.9 环境下测试通过。

您可以在 此处 找到语言 ISO 代码，在 https://github.com/***research/fairseq/tree/main/examples/mms 了解 Fairseq 模型。

# 带实时语音转换的 TTS
api = TTS("tts_models/deu/fairseq/vits")
api.tts_with_vc_to_file(
"Wie sage ich auf Italienisch, dass ich dich liebe?",
speaker_wav="target/speaker.wav",
file_path="output.wav"
)

命令行 tts

通过命令行合成语音。

您可以使用训练好的模型，或从提供的列表中选择模型。

如果未指定任何模型，将默认使用基于 LJSpeech 的英文模型。

单说话人模型

• 列出提供的模型：

$ tts --list_models

• 获取模型信息（适用于 tts_models 和 vocoder_models）：

• 按类型/名称查询： model_info_by_name 使用 --list_models 输出中的名称。

$ tts --model_info_by_name " / / / "

例如：

$ tts --model_info_by_name tts_models/tr/common-voice/glow-tts
$ tts --model_info_by_name vocoder_models/en/ljspeech/hifigan_v2

• 按类型/索引查询： model_query_idx 使用 --list_models 输出中对应的索引。

$ tts --model_info_by_idx " / "

例如：

$ tts --model_info_by_idx tts_models/3

• 按全名查询模型信息：

$ tts --model_info_by_name " / / / "

• 使用默认模型运行 TTS：

$ tts --text "Text for TTS" --out_path output/path/speech.wav

• 运行 TTS 并通过管道输出生成的 TTS wav 文件数据：

$ tts --text "Text for TTS" --pipe_out --out_path output/path/speech.wav | aplay

• 使用模型默认声码器运行 TTS 模型：

$ tts --text "Text for TTS" --model_name " / / / " --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --out_path output/path/speech.wav

• 使用列表中的特定 TTS 和声码器模型运行：

$ tts --text "Text for TTS" --model_name " / / / " --vocoder_name " / / / " --out_path output/path/speech.wav

例如：

$ tts --text "Text for TTS" --model_name "tts_models/en/ljspeech/glow-tts" --vocoder_name "vocoder_models/en/ljspeech/univnet" --out_path output/path/speech.wav

• 运行自己的 TTS 模型（使用 Griffin-Lim 声码器）：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav

• 运行自己的 TTS 和声码器模型：

$ tts --text "Text for TTS" --model_path path/to/model.pth --config_path path/to/config.json --out_path output/path/speech.wav
--vocoder_path path/to/vocoder.pth --vocoder_config_path path/to/vocoder_config.json

多说话人模型

• 列出可用说话人并选择：

$ tts --model_name " / / " --list_speaker_idxs

• 使用目标说话人 ID 运行多说话人 TTS 模型：

$ tts --text "Text for TTS." --out_path output/path/speech.wav --model_name " / / " --speaker_idx

• 运行自己的多说话人 TTS 模型：

$ tts --text "Text for TTS" --out_path output/path/speech.wav --model_path path/to/model.pth --config_path path/to/config.json --speakers_file_path path/to/speaker.json --speaker_idx

语音转换模型

$ tts --out_path output/path/speech.wav --model_name " / / " --source_wav --target_wav

目录结构

|- notebooks/ (用于模型评估、参数选择和数据分析的 Jupyter 笔记本。)
|- utils/ (通用工具。)
|- TTS
|- bin/ (所有可执行文件的文件夹。)
|- train*.py (训练目标模型。)
|- ...
|- tts/ (文本转语音模型)
|- layers/ (模型层定义)
|- models/ (模型定义)
|- utils/ (模型特定工具。)
|- speaker_encoder/ (说话人编码器模型。)
|- (同上)
|- vocoder/ (声码器模型。)
|- (同上)