ghcr.io/matatonic/openedai-speech:latest
OpenedAI Speech
注意:此软件已基本过时,将不再更新。
一些替代方案:
- [***]
- https://github.com/remsky/Kokoro-FastAPI
- https://github.com/astramind-ai/Auralis
- [***]
一个与OpenAI API兼容的文本转语音服务器。
- 与OpenAI audio/speech API兼容
- 提供https://platform.openai.com/docs/api-reference/audio/createSpeech
- 与OpenAI无任何关联,不需要OpenAI API密钥
- 免费、私有、支持自定义语音克隆的文本转语音服务器
完全兼容性:
tts-1:alloy、echo、fable、onyx、nova和shimmer(可配置)tts-1-hd:alloy、echo、fable、onyx、nova和shimmer(可配置,默认使用OpenAI样本)- 响应格式:
mp3、opus、aac、flac、wav和pcm - 语速0.25-4.0(及更高)
详细信息:
- 模型
tts-1通过https://github.com/rhasspy/piper实现(速度极快,运行于CPU) - 可通过
voice_to_speaker.yaml配置文件映射自定义https://rhasspy.github.io/piper-samples/ - 模型
tts-1-hd通过https://github.com/coqui-ai/TTS的xtts_v2语音克隆实现(速度较快,但需要约4GB GPU显存) tts-1-hd可使用自定义克隆语音,参见:自定义语音指南- 🌐 多语言支持:XTTS语音支持多语言,未指定时自动检测语言
- 自定义微调XTTS模型支持
- 可配置的生成参数
- 生成时流式输出
- 偶尔某些单词或符号发音可能不正确,可通过
pre_process_map.yaml中的正则表达式修复 - 已在Python 3.9-3.11测试,piper暂不支持Python 3.12
如果您为tts-1或tts-1-hd找到了更匹配的语音,请告诉我,以便我更新默认值。
近期变更
Version 0.18.2, 2024-08-16
- 修复amd64的Docker构建,再次重构GitHub Actions,释放更多磁盘空间
Version 0.18.1, 2024-08-15
- 重构GitHub Actions
Version 0.18.0, 2024-08-15
- 允许xtts中使用wav样本文件夹。样本将被合并,支持混合语音和小样本集合。总时长仍限制为30秒。感谢@nathanhere。
- 修复-min镜像中缺失的yaml依赖
- 修复fr_FR-tom-medium和其他44khz piper语音(检测非默认采样率)
- 小更新
Version 0.17.2, 2024-07-01
- 修复-min镜像(关于langdetect)
Version 0.17.1, 2024-07-01
- 修复ROCm(将langdetect添加到requirements-rocm.txt)
- 修复xtts的zh-cn支持
Version 0.17.0, 2024-07-01
- 自动语言检测,感谢https://github.com/RodolfoCastanheira
Version 0.16.0, 2024-06-29
- 多客户端安全版本。音频生成在单个进程中同步进行。GPU上XTTS的估计“实时”因子约为1/3,这意味着多个流同时生成或语速超过2时可能会出现音频欠载(播放延迟或暂停)。这使得多客户端成为可能且安全,但实际中最多支持2或3个同时流而不会出现音频欠载。
Version 0.15.1, 2024-06-27
- 从requirements.txt中移除deepspeed,对普通用户来说过于复杂。需要更详细的deepspeed安装文档。
Version 0.15.0, 2024-06-26
- 切换到https://github.com/idiap/coqui-ai-TTS(更新的分支),更新了更简单的依赖项、Torch 2.3等
- 解决CUDA线程问题
Version 0.14.1, 2024-06-26
- 支持deepspeed(
--use-deepspeed),但预构建Docker镜像中未启用(体积过大)。需要安装cuda-toolkit,详见Dockerfile注释
Version 0.14.0, 2024-06-26
- 新增
response_format:支持wav和pcm tts-1和tts-1-hd支持生成时流式输出- 增强xtts模型的生成参数(temperature、top_p等)
- 空闲卸载计时器(可选)- 尚未完全正常工作
- 改进错误处理
Version 0.13.0, 2024-06-25
- 新增自定义微调XTTS模型支持
- 初步支持预构建arm64镜像(Apple M系列、树莓派 - XTTS/Torch不支持MPS),感谢https://github.com/JakeStevenson、https://github.com/hchasens
- 初步尝试支持AMD GPU(ROCm 5.7)
- 移除Parler-tts支持
- 将*.default.yaml移至根目录
- 默认以服务方式运行Docker(
restart: unless-stopped) - 新增
audio_reader.py用于流式文本输入和长文本读取
Version 0.12.3, 2024-06-17
- 为BadRequests(400)添加更多日志详情
Version 0.12.2, 2024-06-16
- 修复:min镜像依赖(首次运行时numpy会自动下载语音模型。根据网络连接情况,这可能需要一段时间。
选项B:Docker镜像(推荐)
Nvidia GPU(cuda)
docker compose up
AMD GPU(ROCm支持)
docker compose -f docker-compose.rocm.yml up
ARM64(Apple M系列、树莓派)
[!NOTE] XTTS在此处仅支持CPU且速度非常慢,您可以使用带CPU的Nvidia镜像运行XTTS(速度慢),或使用仅含piper的镜像(推荐)
仅CPU,无GPU(仅piper)
如需仅含piper支持的最小Docker镜像( speech.mp3
或者这样:
```shell
curl -s http://localhost:8000/v1/audio/speech -H "Content-Type: application/json" -d '{
"input": "The quick brown fox jumped over the lazy dog."}'
> speech.mp3
或者如https://platform.openai.com/docs/guides/text-to-speech中的示例:
import openai
client = openai.OpenAI(
# 如果在导入openai前设置了这些环境变量,则不需要此部分
# export OPENAI_API_KEY=sk-11111111111
# export OPENAI_BASE_URL=http://localhost:8000/v1
api_key = "sk-***",
base_url = "http://localhost:8000/v1",
)
with client.audio.speech.with_streaming_response.create(
model="tts-1",
voice="alloy",
input="Today is a wonderful day to build something people love!"
) as response:
response.stream_to_file("speech.mp3")
另请参见示例应用say.py,了解如何使用openai-python API。
# 播放音频,需安装'pip install playsound'
python say.py -t "The quick brown fox jumped over the lazy dog." -p
# 以flac格式保存到文件
python say.py -t "The quick brown fox jumped over the lazy dog." -m tts-1-hd -v onyx -f flac -o fox.flac
您也可以尝试使用附带的audio_reader.py来收听长文本和流式输入。
示例用法:
python audio_reader.py -s 2 < LICENSE # 快速朗读软件许可证
OpenAI API文档和指南
- https://platform.openai.com/docs/guides/text-to-speech
- https://platform.openai.com/docs/api-reference/audio/createSpeech
自定义语音使用指南
Piper
- 从 https://rhasspy.github.io/piper-samples/ 中选择 piper 语音和模型
- 在
config/voice_to_speaker.yaml中添加新的语音配置段,例如:
...
tts-1:
ryan:
model: voices/en_US-ryan-high.onnx
speaker: # 默认说话人
- 新模型会在需要时自动下载,也可以提前使用
download_voices_tts-1.sh脚本下载。例如:
bash download_voices_tts-1.sh en_US-ryan-high
Coqui XTTS v2
Coqui XTTS v2 语音克隆仅需 6 秒清晰音频即可工作。要创建自定义语音克隆,需准备一个 WAV 格式的语音样本文件。
Coqui XTTS v2 优质样本文件准备指南
- 单声道(单通道)22050 Hz WAV 文件
- 时长 6-30 秒——并非越长越好(部分 4 秒样本也能获得良好效果)
- 低噪声(无嘶嘶声或嗡嗡声)
- 无不完整单词、呼吸声、笑声、音乐或背景噪音
- 语速均匀且词汇多样最佳,如访谈或有声书中的语音
- 超过 30 秒的音频将被自动截断
可使用 FFmpeg 处理音频文件,以下是一些示例:
# 将多通道音频文件转换为单声道,设置采样率为 22050 Hz,修剪为 6 秒,并输出为 WAV 文件
ffmpeg -i input.mp3 -ac 1 -ar 22050 -t 6 -y me.wav
# 使用简单噪声滤波器清理音频,并选择采样起始时间
ffmpeg -i input.wav -af "highpass=f=200, lowpass=f=3000" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav
# 更复杂的降噪设置,包括音量调整
ffmpeg -i input.mkv -af "highpass=f=200, lowpass=f=3000, volume=5, afftdn=nf=25" -ac 1 -ar 22050 -ss 00:13:26.2 -t 6 -y me.wav
准备好 WAV 文件后,将其保存到 /voices/ 目录,并更新 config/voice_to_speaker.yaml 文件中的新文件名。
例如:
...
tts-1-hd:
me:
model: xtts
speaker: voices/me.wav # 可以是您自己的语音
也可使用子文件夹存放多个音频样本,以合并小样本或混合不同样本。
例如:
...
tts-1-hd:
mixed:
model: xtts
speaker: voices/mixed
其中 voices/mixed/ 文件夹包含多个 WAV 文件。总音频长度仍限制为 30 秒。
多语言支持
多语言克隆支持在 0.11.0 版本中添加,且仅适用于 XTTS v2 模型。要在 piper 中使用多语言语音,只需下载特定语言的语音模型。
Coqui XTTSv2 支持多种语言:英语(en)、西班牙语(es)、法语(fr)、德语(de)、意大利语(it)、葡萄牙语(pt)、波兰语(pl)、土耳其语(tr)、俄语(ru)、荷兰语(nl)、捷克语(cs)、阿拉伯语(ar)、中文(zh-cn)、匈牙利语(hu)、韩语(ko)、日语(ja)和印地语(hi)。未设置时,系统将尝试自动检测语言,默认回退为英语(en)。
遗憾的是 OpenAI API 不支持语言设置,但您可以创建自定义说话人语音并为其设置语言。
- 按照 自定义语音使用指南 创建说话人的 WAV 文件
- 将语音添加到
config/voice_to_speaker.yaml并包含正确的 Coquilanguage代码。例如:
xunjiang:
model: xtts
speaker: voices/xunjiang.wav
language: zh-cn
- 不要在
config/pre_process_map.yaml中移除高 Unicode 字符!如果存在以下行,需要将其删除。例如:
删除:
- - '[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F700-\U0001F77F\U0001F780-\U0001F7FF\U0001F800-\U0001F8FF\U0001F900-\U0001F9FF\U0001FA00-\U0001FA6F\U0001FA70-\U0001FAFF\U00002702-\U000027B0\U000024C2-\U0001F251]+'
- ''
这些行在 0.11.0 版本前默认添加到 config/pre_process_map.yaml 配置文件中:
- 新的多语言说话人语音已准备就绪!
自定义微调模型支持
添加自定义 xtts 模型非常简单。以下是添加自定义微调的 "halo" XTTS 模型的示例。
- 将模型文件夹保存到
voices/下(需包含所有 4 个文件,包括模型的 vocab.json)
openedai-speech$ ls voices/halo/
config.json vocab.json model.pth sample.wav
- 在
config/voice_to_speaker.yaml的tts-1-hd部分添加自定义语音条目:
tts-1-hd:
...
halo:
model: halo # 此名称必须唯一
speaker: voices/halo/sample.wav # 语音样本为必需项
model_path: voices/halo
- 首次访问该语音时模型将加载(
--preload目前不适用于自定义模型)
生成参数
XTTSv2 语音生成可通过以下选项进行微调(包含默认值):
tts-1-hd:
alloy:
model: xtts
speaker: voices/alloy.wav
enable_text_splitting: True
length_penalty: 1.0
repetition_penalty: 10
speed: 1.0
temperature: 0.75
top_k: 50
top_p: 0.85
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务