ghcr.io/matatonic/openedai-speech

ghcr.io/matatonic/openedai-speech:latest

ghcr.iolinux/amd64latest大小: 3.65 GB更新于 2026年11月8日

OpenedAI Speech

注意:此软件已基本过时,将不再更新。

一些替代方案:

  • [***]
  • https://github.com/remsky/Kokoro-FastAPI
  • https://github.com/astramind-ai/Auralis
  • [***]

一个与OpenAI API兼容的文本转语音服务器。

  • 与OpenAI audio/speech API兼容
  • 提供https://platform.openai.com/docs/api-reference/audio/createSpeech
  • 与OpenAI无任何关联,不需要OpenAI API密钥
  • 免费、私有、支持自定义语音克隆的文本转语音服务器

完全兼容性:

  • tts-1:alloy、echo、fable、onyx、nova和shimmer(可配置)
  • tts-1-hd:alloy、echo、fable、onyx、nova和shimmer(可配置,默认使用OpenAI样本)
  • 响应格式:mp3、opus、aac、flac、wav和pcm
  • 语速0.25-4.0(及更高)

详细信息:

  • 模型tts-1通过https://github.com/rhasspy/piper实现(速度极快,运行于CPU)
  • 可通过voice_to_speaker.yaml配置文件映射自定义https://rhasspy.github.io/piper-samples/
  • 模型tts-1-hd通过https://github.com/coqui-ai/TTS的xtts_v2语音克隆实现(速度较快,但需要约4GB GPU显存)
  • tts-1-hd可使用自定义克隆语音,参见:自定义语音指南
  • 🌐 多语言支持:XTTS语音支持多语言,未指定时自动检测语言
  • 自定义微调XTTS模型支持
  • 可配置的生成参数
  • 生成时流式输出
  • 偶尔某些单词或符号发音可能不正确,可通过pre_process_map.yaml中的正则表达式修复
  • 已在Python 3.9-3.11测试,piper暂不支持Python 3.12

如果您为tts-1或tts-1-hd找到了更匹配的语音,请告诉我,以便我更新默认值。

近期变更

Version 0.18.2, 2024-08-16

  • 修复amd64的Docker构建,再次重构GitHub Actions,释放更多磁盘空间

Version 0.18.1, 2024-08-15

  • 重构GitHub Actions

Version 0.18.0, 2024-08-15

  • 允许xtts中使用wav样本文件夹。样本将被合并,支持混合语音和小样本集合。总时长仍限制为30秒。感谢@nathanhere。
  • 修复-min镜像中缺失的yaml依赖
  • 修复fr_FR-tom-medium和其他44khz piper语音(检测非默认采样率)
  • 小更新

Version 0.17.2, 2024-07-01

  • 修复-min镜像(关于langdetect)

Version 0.17.1, 2024-07-01

  • 修复ROCm(将langdetect添加到requirements-rocm.txt)
  • 修复xtts的zh-cn支持

Version 0.17.0, 2024-07-01

  • 自动语言检测,感谢https://github.com/RodolfoCastanheira

Version 0.16.0, 2024-06-29

  • 多客户端安全版本。音频生成在单个进程中同步进行。GPU上XTTS的估计“实时”因子约为1/3,这意味着多个流同时生成或语速超过2时可能会出现音频欠载(播放延迟或暂停)。这使得多客户端成为可能且安全,但实际中最多支持2或3个同时流而不会出现音频欠载。

Version 0.15.1, 2024-06-27

  • 从requirements.txt中移除deepspeed,对普通用户来说过于复杂。需要更详细的deepspeed安装文档。

Version 0.15.0, 2024-06-26

  • 切换到https://github.com/idiap/coqui-ai-TTS(更新的分支),更新了更简单的依赖项、Torch 2.3等
  • 解决CUDA线程问题

Version 0.14.1, 2024-06-26

  • 支持deepspeed(--use-deepspeed),但预构建Docker镜像中未启用(体积过大)。需要安装cuda-toolkit,详见Dockerfile注释

Version 0.14.0, 2024-06-26

  • 新增response_format:支持wav和pcm
  • tts-1和tts-1-hd支持生成时流式输出
  • 增强xtts模型的生成参数(temperature、top_p等)
  • 空闲卸载计时器(可选)- 尚未完全正常工作
  • 改进错误处理

Version 0.13.0, 2024-06-25

  • 新增自定义微调XTTS模型支持
  • 初步支持预构建arm64镜像(Apple M系列、树莓派 - XTTS/Torch不支持MPS),感谢https://github.com/JakeStevenson、https://github.com/hchasens
  • 初步尝试支持AMD GPU(ROCm 5.7)
  • 移除Parler-tts支持
  • 将*.default.yaml移至根目录
  • 默认以服务方式运行Docker(restart: unless-stopped)
  • 新增audio_reader.py用于流式文本输入和长文本读取

Version 0.12.3, 2024-06-17

  • 为BadRequests(400)添加更多日志详情

Version 0.12.2, 2024-06-16

  • 修复:min镜像依赖(首次运行时numpy会自动下载语音模型。根据网络连接情况,这可能需要一段时间。

选项B:Docker镜像(推荐)

Nvidia GPU(cuda)

docker compose up

AMD GPU(ROCm支持)

docker compose -f docker-compose.rocm.yml up

ARM64(Apple M系列、树莓派)

[!NOTE] XTTS在此处仅支持CPU且速度非常慢,您可以使用带CPU的Nvidia镜像运行XTTS(速度慢),或使用仅含piper的镜像(推荐)

仅CPU,无GPU(仅piper)

如需仅含piper支持的最小Docker镜像( speech.mp3

或者这样:
```shell
curl -s http://localhost:8000/v1/audio/speech -H "Content-Type: application/json" -d '{
"input": "The quick brown fox jumped over the lazy dog."}'
> speech.mp3

或者如https://platform.openai.com/docs/guides/text-to-speech中的示例:

import openai

client = openai.OpenAI(
# 如果在导入openai前设置了这些环境变量,则不需要此部分
# export OPENAI_API_KEY=sk-11111111111
# export OPENAI_BASE_URL=http://localhost:8000/v1
api_key = "sk-***",
base_url = "http://localhost:8000/v1",
)

with client.audio.speech.with_streaming_response.create(
model="tts-1",
voice="alloy",
input="Today is a wonderful day to build something people love!"
) as response:
response.stream_to_file("speech.mp3")

另请参见示例应用say.py,了解如何使用openai-python API。

# 播放音频,需安装'pip install playsound'
python say.py -t "The quick brown fox jumped over the lazy dog." -p
# 以flac格式保存到文件
python say.py -t "The quick brown fox jumped over the lazy dog." -m tts-1-hd -v onyx -f flac -o fox.flac

您也可以尝试使用附带的audio_reader.py来收听长文本和流式输入。

示例用法:

python audio_reader.py -s 2 < LICENSE # 快速朗读软件许可证

OpenAI API文档和指南

  • https://platform.openai.com/docs/guides/text-to-speech
  • https://platform.openai.com/docs/api-reference/audio/createSpeech

自定义语音使用指南

Piper

  1. 从 https://rhasspy.github.io/piper-samples/ 中选择 piper 语音和模型
  2. 在 config/voice_to_speaker.yaml 中添加新的语音配置段,例如:
...
tts-1:
  ryan:
    model: voices/en_US-ryan-high.onnx
    speaker: # 默认说话人
  1. 新模型会在需要时自动下载,也可以提前使用 download_voices_tts-1.sh 脚本下载。例如:
bash download_voices_tts-1.sh en_US-ryan-high

Coqui XTTS v2

Coqui XTTS v2 语音克隆仅需 6 秒清晰音频即可工作。要创建自定义语音克隆,需准备一个 WAV 格式的语音样本文件。

Coqui XTTS v2 优质样本文件准备指南

  • 单声道(单通道)22050 Hz WAV 文件
  • 时长 6-30 秒——并非越长越好(部分 4 秒样本也能获得良好效果)
  • 低噪声(无嘶嘶声或嗡嗡声)
  • 无不完整单词、呼吸声、笑声、音乐或背景噪音
  • 语速均匀且词汇多样最佳,如访谈或有声书中的语音
  • 超过 30 秒的音频将被自动截断

可使用 FFmpeg 处理音频文件,以下是一些示例:

# 将多通道音频文件转换为单声道,设置采样率为 22050 Hz,修剪为 6 秒,并输出为 WAV 文件
ffmpeg -i input.mp3 -ac 1 -ar 22050 -t 6 -y me.wav
# 使用简单噪声滤波器清理音频,并选择采样起始时间
ffmpeg -i input.wav -af "highpass=f=200, lowpass=f=3000" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav
# 更复杂的降噪设置,包括音量调整
ffmpeg -i input.mkv -af "highpass=f=200, lowpass=f=3000, volume=5, afftdn=nf=25" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav

准备好 WAV 文件后,将其保存到 /voices/ 目录,并更新 config/voice_to_speaker.yaml 文件中的新文件名。

例如:

...
tts-1-hd:
  me:
    model: xtts
    speaker: voices/me.wav # 可以是您自己的语音

也可使用子文件夹存放多个音频样本,以合并小样本或混合不同样本。

例如:

...
tts-1-hd:
  mixed:
    model: xtts
    speaker: voices/mixed

其中 voices/mixed/ 文件夹包含多个 WAV 文件。总音频长度仍限制为 30 秒。

多语言支持

多语言克隆支持在 0.11.0 版本中添加,且仅适用于 XTTS v2 模型。要在 piper 中使用多语言语音,只需下载特定语言的语音模型。

Coqui XTTSv2 支持多种语言:英语(en)、西班牙语(es)、法语(fr)、德语(de)、意大利语(it)、葡萄牙语(pt)、波兰语(pl)、土耳其语(tr)、俄语(ru)、荷兰语(nl)、捷克语(cs)、阿拉伯语(ar)、中文(zh-cn)、匈牙利语(hu)、韩语(ko)、日语(ja)和印地语(hi)。未设置时,系统将尝试自动检测语言,默认回退为英语(en)。

遗憾的是 OpenAI API 不支持语言设置,但您可以创建自定义说话人语音并为其设置语言。

  1. 按照 自定义语音使用指南 创建说话人的 WAV 文件
  2. 将语音添加到 config/voice_to_speaker.yaml 并包含正确的 Coqui language 代码。例如:
xunjiang:
  model: xtts
  speaker: voices/xunjiang.wav
  language: zh-cn
  1. 不要在 config/pre_process_map.yaml 中移除高 Unicode 字符!如果存在以下行,需要将其删除。例如:

删除:

- - '[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F700-\U0001F77F\U0001F780-\U0001F7FF\U0001F800-\U0001F8FF\U0001F900-\U0001F9FF\U0001FA00-\U0001FA6F\U0001FA70-\U0001FAFF\U00002702-\U000027B0\U000024C2-\U0001F251]+'
- ''

这些行在 0.11.0 版本前默认添加到 config/pre_process_map.yaml 配置文件中:

  1. 新的多语言说话人语音已准备就绪!

自定义微调模型支持

添加自定义 xtts 模型非常简单。以下是添加自定义微调的 "halo" XTTS 模型的示例。

  1. 将模型文件夹保存到 voices/ 下(需包含所有 4 个文件,包括模型的 vocab.json)
openedai-speech$ ls voices/halo/
config.json vocab.json model.pth sample.wav
  1. 在 config/voice_to_speaker.yaml 的 tts-1-hd 部分添加自定义语音条目:
tts-1-hd:
  ...
  halo:
    model: halo # 此名称必须唯一
    speaker: voices/halo/sample.wav # 语音样本为必需项
    model_path: voices/halo
  1. 首次访问该语音时模型将加载(--preload 目前不适用于自定义模型)

生成参数

XTTSv2 语音生成可通过以下选项进行微调(包含默认值):

tts-1-hd:
  alloy:
    model: xtts
    speaker: voices/alloy.wav
    enable_text_splitting: True
    length_penalty: 1.0
    repetition_penalty: 10
    speed: 1.0
    temperature: 0.75
    top_k: 50
    top_p: 0.85
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告