opea/speecht5

TTS微服务

TTS（文本转语音）微服务帮助用户将文本转换为语音。在构建带LLM的对话机器人时，用户可能需要将LLM生成的回答以音频形式呈现，本微服务正是为这一转换环节设计。

1.2 启动SpeechT5服务/测试

• Xeon CPU

bash
cd comps/third_parties/speecht5/src
nohup python speecht5_server.py --device=cpu &
curl http://localhost:7055/v1/tts -XPOST -d '{"text": "Who are you?"}' -H 'Content-Type: application/json'

• Gaudi2 HPU

bash
pip install optimum[habana]

cd comps/third_parties/speecht5/src
nohup python speecht5_server.py --device=hpu &
curl http://localhost:7055/v1/tts -XPOST -d '{"text": "Who are you?"}' -H 'Content-Type: application/json'

1.3 启动TTS服务/测试

bash
python opea_tts_microservice.py

curl http://localhost:9088/v1/audio/speech -XPOST -d '{"input": "Who are you?"}' -H 'Content-Type: application/json' --output speech.mp3

🚀2. 使用Docker启动微服务（选项2）

您也可以通过Docker启动TTS微服务。

2.1 构建镜像

2.1.1 SpeechT5服务器镜像

• Xeon CPU

bash
cd ../../../
docker build -t opea/speecht5:latest --build-arg https_proxy=$https_proxy --build-arg http_proxy=$http_proxy -f comps/third_parties/speecht5/src/Dockerfile .

• Gaudi2 HPU

bash
cd ../../../
docker build -t opea/speecht5-gaudi:latest --build-arg https_proxy=$https_proxy --build-arg http_proxy=$http_proxy -f comps/third_parties/speecht5/src/Dockerfile.intel_hpu .

2.1.2 TTS服务镜像

bash
docker build -t opea/tts:latest --build-arg https_proxy=$https_proxy --build-arg http_proxy=$http_proxy -f comps/tts/src/Dockerfile .

2.2 启动SpeechT5和TTS服务

2.2.1 启动SpeechT5服务器

• Xeon

bash
docker run -p 7055:7055 --ipc=host -e http_proxy=$http_proxy -e https_proxy=$https_proxy docker.xuanyuan.run/opea/speecht5:latest

• Gaudi2 HPU

bash
docker run -p 7055:7055 --runtime=habana -e HABANA_VISIBLE_DEVICES=all -e OMPI_MCA_btl_vader_single_copy_mechanism=none --cap-add=sys_nice --ipc=host -e http_proxy=$http_proxy -e https_proxy=$https_proxy docker.xuanyuan.run/opea/speecht5-gaudi:latest

2.2.2 启动TTS服务

bash
ip_address=$(hostname -I | awk '{print $1}')

docker run -p 9088:9088 --ipc=host -e http_proxy=$http_proxy -e https_proxy=$https_proxy -e TTS_ENDPOINT=http://$ip_address:7055 docker.xuanyuan.run/opea/tts:latest

2.2.3 测试

bash
curl http://localhost:7055/v1/tts -XPOST -d '{"text": "Who are you?"}' -H 'Content-Type: application/json'

# 兼容OpenAI协议
# 语音可选'male'或'default'
curl http://localhost:9088/v1/audio/speech -XPOST -d '{"input":"Who are you?", "voice": "male"}' -H 'Content-Type: application/json' --output speech.wav

🚀3. 使用Docker Compose启动微服务（选项3）

您也可以通过Docker Compose启动TTS微服务。

bash
export ip_address=$(hostname -I | awk '{print $1}')
# 默认speecht5端口7055
export TTS_ENDPOINT=[***]
# 默认gptsovits端口9880
# 如果您想使用gptsovits，请执行以下命令替代
# export TTS_ENDPOINT=[***]
export no_proxy=localhost,$no_proxy

# speecht5 cpu
docker compose -f ../deployment/docker_compose/compose.yaml up speecht5-service tts-speecht5 -d

# speecht5 hpu
docker compose -f ../deployment/docker_compose/compose.yaml up speecht5-gaudi-service tts-speecht5-gaudi -d

# gptsovits cpu
docker compose -f ../deployment/docker_compose/compose.yaml up tts-gptsovits gpt-sovits-service -d

# 测试
curl http://localhost:9088/v1/audio/speech -XPOST -d '{"input":"Who are you?"}' -H 'Content-Type: application/json' --output speech.wav