bobui/cosyvoice

CosyVoice（阿里通义）镜像文档

镜像概述

CosyVoice是阿里通义推出的语音合成工具，核心聚焦高效语音克隆与自然情感合成能力。支持多语言语音克隆、跨语言合成及自然语言情感控制，具备流式输出特性，适用于实时对话等低延迟场景。依托超17万小时多语言训练数据及Qwen2.5大模型集成，简化语音生成流程，提升合成效率与质量。

核心功能与特性

核心能力

• 3秒语音克隆：支持中、英、粤语等多语言，可实现跨语言克隆（如中文克隆英文语音）
• 自然语言情感控制：通过文本描述（如“悲伤、缓慢”）生成对应语调的语音
• 流式输出：适用于实时对话场景，响应速度快，低延迟

技术亮点

• 多语言训练数据超17万小时，覆盖广泛语言场景
• 集成Qwen2.5大模型，直接生成语音编码，简化合成流程

开源地址

https://github.com/FunAudioLLM/CosyVoice

使用场景

• 实时对话系统（如智能客服、语音助手）
• 个性化语音生成（如定制虚拟主播、有声内容创作）
• 跨语言语音交互（多语言场景下的语音合成）

使用方法

启动容器（适配H20）

bash
docker run -d --name cosyvoice_h20 \
  --gpus all \
  -p 50000:50000 \
  cosyvoice:h20_v2.0 \
  /bin/bash -c "cd /opt/CosyVoice/CosyVoice/runtime/python/grpc && \
                python3 server.py --port 50000 --model_dir iic/CosyVoice-300M --fp16 True"

关键参数说明

• --gpus all：启用GPU加速，需确保主机已安装NVIDIA Docker运行时
• --fp16 True：启用半精度推理，优化显存占用
• 端口50000：默认GRPC服务端口，可替换为FastAPI服务（对应fastapi/server.py）

模型下载（容器内执行）

1. 进入容器：

bash
docker exec -it cosyvoice_h20 bash

2. 下载模型：

bash
python -c "from modelscope import snapshot_download; \
           snapshot_download('iic/CosyVoice-300M', local_dir='pretrained_models/CosyVoice-300M')"

服务访问

部署完成后，通过http://127.0.0.1:50000访问服务。

接口使用说明

GRPC接口（高性能流式）

适用于对实时性要求高的场景，支持流式输出。

安装依赖

bash
pip install grpcio grpcio-tools

调用示例

python
from runtime.python.grpc import cosyvoice_pb2, cosyvoice_pb2_grpc
import grpc

# 建立连接
channel = grpc.insecure_channel('localhost:50000')
stub = cosyvoice_pb2_grpc.CosyVoiceServingStub(channel)

# 零样本克隆请求
request = cosyvoice_pb2.InferenceRequest(
    mode="zero_shot",
    text="你好，这是测试语音",
    prompt_audio=open('prompt.wav', 'rb').read()  # 输入参考音频
)

# 获取响应并保存音频
response = stub.Inference(request)
with open('output.wav', 'wb') as f:
    f.write(response.tts_speech)  # 保存合成音频

FastAPI接口（HTTP便捷调用）

适用于简单HTTP请求场景，支持JSON格式交互。

POST请求示例（curl）

bash
curl -X POST "http://localhost:50000/synthesize" \
     -H "Content-Type: application/json" \
     -d '{
          "text": "明天下午三点开会",
          "prompt_audio": "base64编码的音频数据",  # 参考音频的base64编码
          "mode": "zero_shot"
        }'

响应格式

json
{
  "audio": "base64编码的WAV音频",
  "status": "SUCCESS"
}