OpenedAI Speech

注意：此软件已基本过时，将不再更新。

一些替代方案：

• [***]
• https://github.com/remsky/Kokoro-FastAPI
• https://github.com/astramind-ai/Auralis
• [***]

---

一个与OpenAI API兼容的文本转语音服务器。

• 与OpenAI audio/speech API兼容
• 提供/v1/audio/speech端点
• 与OpenAI无任何关联，不需要OpenAI API密钥
• 一个免费、私有、支持自定义语音克隆的文本转语音服务器

完全兼容性：

• tts-1：alloy、echo、fable、onyx、nova和shimmer（可配置）
• tts-1-hd：alloy、echo、fable、onyx、nova和shimmer（可配置，默认使用OpenAI样本）
• response_format：mp3、opus、aac、flac、wav和pcm
• speed 0.25-4.0（及更高）

详细信息：

• 模型tts-1通过https://github.com/rhasspy/piper%E5%AE%9E%E7%8E%B0%EF%BC%88%E9%80%9F%E5%BA%A6%E6%9E%81%E5%BF%AB%EF%BC%8C%E8%BF%90%E8%A1%8C%E4%BA%8ECPU%EF%BC%89
• 您可以通过voice_to_speaker.yaml配置文件映射自己的https://rhasspy.github.io/piper-samples/
• 模型tts-1-hd通过https://github.com/coqui-ai/TTS%E7%9A%84xtts_v2%E8%AF%AD%E9%9F%B3%E5%85%8B%E9%9A%86%E5%AE%9E%E7%8E%B0%EF%BC%88%E9%80%9F%E5%BA%A6%E5%BF%AB%EF%BC%8C%E4%BD%86%E9%9C%80%E8%A6%81%E7%BA%A64GB GPU显存）
• 自定义克隆语音可用于tts-1-hd，参见：自定义语音指南
• 🌐 多语言支持，XTTS语音若未设置语言则自动检测
• 自定义微调XTTS模型支持
• 可配置的生成参数
• 生成时流式输出
• 偶尔，某些单词或符号可能发音不正确，您可以通过pre_process_map.yaml使用正则表达式修复
• 已在Python 3.9-3.11上测试，piper暂不支持Python 3.12安装

如果您为tts-1或tts-1-hd找到更好的语音匹配，请告知我，以便我更新默认值。

近期变更

版本 0.18.2，2024-08-16

• 修复amd64的Docker构建，再次重构GitHub Actions，释放更多磁盘空间

版本 0.18.1，2024-08-15

• 重构GitHub Actions

版本 0.18.0，2024-08-15

• 允许在xtts中使用wav样本文件夹。样本将被合并，支持混合语音和小样本集合。总时长仍限制为30秒。感谢@nathanhere。
• 修复-min镜像中缺失的yaml依赖
• 修复fr_FR-tom-medium和其他44khz piper语音（检测非默认采样率）
• 小更新

版本 0.17.2，2024-07-01

• 修复-min镜像（关于langdetect）

版本 0.17.1，2024-07-01

• 修复ROCm（将langdetect添加到requirements-rocm.txt）
• 修复xtts的zh-cn支持

版本 0.17.0，2024-07-01

• 自动语言检测，感谢https://github.com/RodolfoCastanheira

版本 0.16.0，2024-06-29

• 多客户端安全版本。音频生成在单个进程中同步。GPU上XTTS的估计“实时”因子约为1/3，这意味着多个流同时进行或speed超过2时，可能会出现音频欠载（播放延迟或暂停）。这使得多个客户端成为可能且安全，但实际上最多支持2或3个同时流而不会出现音频欠载。

版本 0.15.1，2024-06-27

• 从requirements.txt中移除deepspeed，对普通用户来说过于复杂。需要更详细的deepspeed安装文档。

版本 0.15.0，2024-06-26

• 切换到https://github.com/idiap/coqui-ai-TTS%EF%BC%88%E6%9B%B4%E6%96%B0%E7%9A%84%E5%88%86%E6%94%AF%EF%BC%89%EF%BC%8C%E6%9B%B4%E6%96%B0%E6%9B%B4%E7%AE%80%E5%8D%95%E7%9A%84%E4%BE%9D%E8%B5%96%E9%A1%B9%EF%BC%8Ctorch 2.3等。
• 解决CUDA线程问题

版本 0.14.1，2024-06-26

• 使deepspeed成为可能（--use-deepspeed），但未在预构建Docker镜像中启用（体积过大）。需要安装cuda-toolkit，详见Dockerfile注释。

版本 0.14.0，2024-06-26

• 新增response_format：支持wav和pcm
• tts-1和tts-1-hd的输出流式传输（生成时）
• 增强xtts模型的生成参数（temperature、top_p等）
• 空闲卸载计时器（可选）- 尚未完美工作
• 改进错误处理

版本 0.13.0，2024-06-25

• 新增自定义微调XTTS模型支持
• 初始预构建arm64镜像支持（Apple M系列、树莓派 - XTTS/torch不支持MPS），感谢https://github.com/JakeStevenson%E3%80%81https://github.com/hchasens
• 初步尝试AMD GPU（ROCm 5.7）支持
• 移除Parler-tts支持
• 将*.default.yaml移至根文件夹
• 默认以服务方式运行Docker（restart: unless-stopped）
• 新增audio_reader.py用于流式文本输入和长文本读取

版本 0.12.3，2024-06-17

• 为BadRequests（400）添加额外日志详情

版本 0.12.2，2024-06-16

• 修复:min镜像依赖（首次运行时，语音模型将自动下载。根据网络连接情况，这可能需要一段时间。

选项B：Docker镜像（推荐）

Nvidia GPU（cuda）

docker compose up

AMD GPU（ROCm支持）

docker compose -f docker-compose.rocm.yml up

ARM64（Apple M系列、树莓派）

XTTS在此处仅支持CPU，速度会非常慢，您可以使用带CPU的Nvidia镜像运行XTTS（速度慢），或使用仅piper镜像（推荐）

仅CPU，无GPU（仅piper）

如需仅包含piper支持的最小Docker镜像（speech.mp3

或者这样：
```shell
curl -s http://localhost:8000/v1/audio/speech -H "Content-Type: application/json" -d '{
"input": "The quick brown fox jumped over the lazy dog."}'
> speech.mp3

或者类似OpenAI文本转语音指南中的示例：

import openai

client = openai.OpenAI(
# 如果在导入openai前设置了这些环境变量，则不需要此部分
# export OPENAI_API_KEY=sk-11111111111
# export OPENAI_BASE_URL=http://localhost:8000/v1
api_key = "sk-***",
base_url = "http://localhost:8000/v1",
)

with client.audio.speech.with_streaming_response.create(
model="tts-1",
voice="alloy",
input="Today is a wonderful day to build something people love!"
) as response:
response.stream_to_file("speech.mp3")

另请参见示例应用程序say.py，了解如何使用openai-python API。

# 播放音频，需要'pip install playsound'
python say.py -t "The quick brown fox jumped over the lazy dog." -p
# 以flac格式保存到文件
python say.py -t "The quick brown fox jumped over the lazy dog." -m tts-1-hd -v onyx -f flac -o fox.flac

您也可以尝试使用附带的audio_reader.py来收听长文本和流式输入。

使用示例：

python audio_reader.py -s 2 < LICENSE # 快速朗读软件许可证

OpenAI API文档和指南

• OpenAI 文本转语音指南
• OpenAI API 参考

自定义语音使用指南

Piper

1. 从 https://rhasspy.github.io/piper-samples/ 中选择 piper 语音和模型
2. 在 config/voice_to_speaker.yaml 中为该语音添加新配置段，例如：

...
tts-1:
  ryan:
    model: voices/en_US-ryan-high.onnx
    speaker: # 默认说话人

3. 新模型会在需要时自动下载，也可提前使用 download_voices_tts-1.sh 脚本下载。例如：

bash download_voices_tts-1.sh en_US-ryan-high

Coqui XTTS v2

Coqui XTTS v2 语音克隆仅需 6 秒清晰音频即可工作。要创建自定义语音克隆，需准备一个 WAV 格式的语音样本文件。

Coqui XTTS v2 优质样本文件准备指南

• 单声道（单通道）22050 Hz WAV 文件
• 时长 6-30 秒——并非越长越好（我曾用仅 4 秒的样本获得良好效果）
• 低噪声（无嘶嘶声或嗡嗡声）
• 无不完整单词、呼吸声、笑声、音乐或背景声音
• 语速均匀且包含多种词汇最佳，如访谈或有声书中的语音
• 超过 30 秒的音频将被自动截断

可使用 FFmpeg 准备音频文件，以下是一些示例：

# 将多通道音频文件转换为单声道，设置采样率为 22050 Hz，修剪为 6 秒，并输出为 WAV 文件。
ffmpeg -i input.mp3 -ac 1 -ar 22050 -t 6 -y me.wav
# 使用简单噪声滤波器清理音频，并选择起始时间进行采样。
ffmpeg -i input.wav -af "highpass=f=200, lowpass=f=3000" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav
# 更复杂的降噪设置，包括音量调整
ffmpeg -i input.mkv -af "highpass=f=200, lowpass=f=3000, volume=5, afftdn=nf=25" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav

准备好 WAV 文件后，将其保存到 /voices/ 目录，并在 config/voice_to_speaker.yaml 文件中更新新文件名。

例如：

...
tts-1-hd:
  me:
    model: xtts
    speaker: voices/me.wav # 这可以是你自己的声音

也可使用子文件夹存放多个音频样本，以合并小样本或混合不同样本。

例如：

...
tts-1-hd:
  mixed:
    model: xtts
    speaker: voices/mixed

其中 voices/mixed/ 文件夹包含多个 WAV 文件。总音频长度仍限制为 30 秒。

多语言支持

多语言克隆支持在 0.11.0 版本中添加，且仅适用于 XTTS v2 模型。要在 piper 中使用多语言语音，只需下载特定语言的语音模型。

Coqui XTTSv2 支持多种语言：英语（en）、西班牙语（es）、法语（fr）、德语（de）、意大利语（it）、葡萄牙语（pt）、波兰语（pl）、土耳其语（tr）、俄语（ru）、荷兰语（nl）、捷克语（cs）、阿拉伯语（ar）、中文（zh-cn）、匈牙利语（hu）、韩语（ko）、日语（ja）和印地语（hi）。未设置时，将尝试自动检测语言，默认回退为英语（en）。

遗憾的是，OpenAI API 不支持语言设置，但你可以创建自定义说话人语音并为其设置语言。

1. 按照 自定义语音使用指南 创建说话人的 WAV 文件
2. 将语音添加到 config/voice_to_speaker.yaml 并包含正确的 Coqui language 代码。例如：

xunjiang:
  model: xtts
  speaker: voices/xunjiang.wav
  language: zh-cn

3. 不要在 config/pre_process_map.yaml 中移除高 Unicode 字符！如果存在以下行，需要将其删除。例如：

移除：

- - '[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F700-\U0001F77F\U0001F780-\U0001F7FF\U0001F800-\U0001F8FF\U0001F900-\U0001F9FF\U0001FA00-\U0001FA6F\U0001FA70-\U0001FAFF\U00002702-\U000027B0\U000024C2-\U0001F251]+'
- ''

这些行在 0.11.0 版本前默认添加到 config/pre_process_map.yaml 配置文件中：

4. 新的多语言说话人语音已准备就绪！

自定义微调模型支持

添加自定义 xtts 模型非常简单。以下是添加自定义微调的 "halo" XTTS 模型的示例。

1. 将模型文件夹保存到 voices/ 下（需包含所有 4 个文件，包括模型的 vocab.json）

openedai-speech$ ls voices/halo/
config.json vocab.json model.pth sample.wav

2. 在 config/voice_to_speaker.yaml 的 tts-1-hd 部分添加自定义语音条目：

tts-1-hd:
  ...
  halo:
    model: halo # 此名称必须唯一
    speaker: voices/halo/sample.wav # 语音样本为必需项
    model_path: voices/halo

3. 首次访问该语音时模型将加载（--preload 目前不适用于自定义模型）

生成参数

XTTSv2 语音生成可通过以下选项进行微调（包含默认值）：

tts-1-hd:
  alloy:
    model: xtts
    speaker: voices/alloy.wav
    enable_text_splitting: True
    length_penalty: 1.0
    repetition_penalty: 10
    speed: 1.0
    temperature: 0.75
    top_k: 50
    top_p: 0.85