XTTS streaming server

[!WARNING] XTTS-streaming-server 不支持并发流请求，它是一个演示服务器，不适用于生产环境。

1) 运行服务器

使用预构建镜像

CUDA 12.1：

$ docker run --gpus=all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest-cuda121

CUDA 11.8（适用于较旧显卡）：

$ docker run --gpus=all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest

CPU（不推荐）：

$ docker run -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest-cpu

使用微调模型运行：

确保模型文件夹 /path/to/model/folder 包含以下文件：

• config.json
• model.pth
• vocab.json

$ docker run -v /path/to/model/folder:/app/tts_models --gpus=all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 ghcr.io/coqui-ai/xtts-streaming-server:latest`

将 COQUI_TOS_AGREED 环境变量设置为 1 表示您已阅读并同意 CPML 许可证 的条款。（微调的 XTTS 模型同样受 CPML 许可证 约束）

自行构建镜像

如需构建包含 PyTorch 2.1 和 CUDA 11.8 的 Docker 容器：

DOCKERFILE 可以是 Dockerfile、Dockerfile.cpu、Dockerfile.cuda121 或您自己的自定义 Dockerfile。

$ git clone git@github.com:coqui-ai/xtts-streaming-server.git
$ cd xtts-streaming-server/server
$ docker build -t xtts-stream . -f DOCKERFILE
$ docker run --gpus all -e COQUI_TOS_AGREED=1 --rm -p 8000:80 xtts-stream

将 COQUI_TOS_AGREED 环境变量设置为 1 表示您已阅读并同意 CPML 许可证 的条款。（微调的 XTTS 模型同样受 CPML 许可证 约束）

2) 测试运行中的服务器

Docker 容器运行后，您可以测试其是否正常工作。需要在新终端中运行以下代码。

如果尚未克隆 xtts-streaming-server

$ git clone git@github.com:coqui-ai/xtts-streaming-server.git

使用 Gradio 演示

$ cd xtts-streaming-server
$ python -m pip install -r test/requirements.txt
$ python demo.py

使用测试脚本

$ cd xtts-streaming-server/test
$ python -m pip install -r requirements.txt
$ python test_streaming.py