lintoai/linto-platform-diarization

LINTO-PLATFORM-DIARIZATION

镜像概述和主要用途

LinTO-platform-diarization是https://linto.ai/的说话人分轨服务，用于识别音频中不同说话人的片段并分离。该服务可作为独立HTTP服务部署，通过API提供分轨功能；也可作为微服务，通过消息代理（如Redis）接收任务并处理。适用于需要分析多说话人音频的场景，如会议记录、语音交互系统等。

核心功能和特性

• 多部署模式：支持独立HTTP服务和微服务（Celery）两种部署方式
• 灵活的说话人配置：支持指定说话人数或自动聚类，可设置最大说话人数限制
• 高效音频处理：通过共享存储处理大音频文件，避免消息代理传输大文件
• 服务发现：微服务模式下自动注册到服务注册表，便于服务发现和管理
• 健康检查：提供HTTP健康检查端点，便于监控服务状态
• API文档：内置OpenAPI/swagger接口文档，方便集成

使用场景和适用范围

• 会议录音的说话人分离与分析
• 多说话人语音交互系统的说话人识别
• 音频内容分析与归档
• 语音转写前的说话人分轨预处理
• 需要处理多说话人音频的AI应用集成

前置条件

Docker

需安装并运行Docker环境。

微服务额外要求

• 消息代理：需部署Redis作为消息代理
• 共享文件夹：需挂载共享存储文件夹到容器的/opt/audio路径，用于处理大音频文件

部署方法

构建镜像

首先克隆仓库并构建Docker镜像：

bash
git clone https://github.com/linto-ai/linto-platform-diarization.git
cd linto-platform-diarization
docker build . -t linto-platform-diarization:latest

作为HTTP服务部署

1. 配置环境变量

复制默认环境变量文件并修改：

bash
cp .env_default_http .env

环境变量参数说明：

*分轨服务会使用所有可用CPU，增加工作进程会共享CPU资源，可能降低并发请求的处理速度

2. 运行容器

bash
docker run --rm \
-v SHARED_FOLDER:/opt/audio \
-p HOST_SERVING_PORT:80 \
--env-file .env \
docker.xuanyuan.run/linto-platform-diarization:latest

参数说明：

服务将通过HTTP API绑定到主机的HOST_SERVING_PORT端口。

作为微服务部署（使用Celery）

通过Celery部署为微服务，容器将作为Celery worker等待消息代理中的分轨任务。

1. 配置环境变量

复制默认任务环境变量文件并修改：

bash
cp .env_default_task .env

环境变量参数说明：

2. 配置docker-compose.yml

yaml
version: '3.7'

services:
  punctuation-service:
    image: docker.xuanyuan.run/linto-platform-diarization:latest
    volumes:
      - /path/to/shared/folder:/opt/audio
    env_file: .env
    deploy:
      replicas: 1
    networks:
      - your-net

networks:
  your-net:
    external: true

3. 使用docker stack部署

bash
docker stack deploy --resolve-image always --compose-file docker-compose.yml your_stack

队列名称

默认队列名称由SERVICE_NAME和LANGUAGE生成：diarization_{LANGUAGE}_{SERVICE_NAME}，可通过QUEUE_NAME环境变量覆盖。

服务发现

微服务模式下，实例会在服务注册表中注册自身信息，存储在Redis的db0中，键为service:{HOST_NAME}，注册信息格式如下：

json
{
  "service_name": "$SERVICE_NAME",
  "host_name": "$HOST_NAME",
  "service_type": "diarization",
  "service_language": "$LANGUAGE",
  "queue_name": "$QUEUE_NAME",
  "version": "1.2.0",
  "info": "Multilingual diarization model",
  "last_alive": 65478213,
  "concurrency": 1
}

使用方法

HTTP API

/healthcheck

• 方法：GET
• 描述：返回API状态
• 返回：若健康检查通过，返回"1"

/diarization

• 方法：POST
• 响应类型：application/json
• 参数：
  • file：WAV音频文件
  • spk_number（可选，整数）：说话人数，留空则自动聚类
  • max_speaker（可选，整数）：当spk_number未知时的最大说话人数限制

返回格式：

json
{
  "speakers": [
      {"spk_id": "spk5", "duration": 2.0, "nbr_seg": 1},
      ...
  ],
  "segments": [
      {"seg_id": 1, "spk_id": "spk5", "seg_begin": 0.0, "seg_end": 2.0},
      ...
  ]
}

/docs

提供OpenAPI/swagger接口文档，可通过浏览器访问查看API详情。

通过消息代理使用

STT-Worker接受以下参数的请求：

• file_path（str）：共享文件夹中的文件路径（即/opt/audio/{file_path}）
• speaker_count（int，默认None）：固定说话人数
• max_speaker（int，默认None）：当speaker_count为None时的最大说话人数

返回格式：与HTTP API的/diarization端点相同，包含speakers和segments字段。

测试

可使用curl测试HTTP API：

bash
curl -X POST "http://YOUR_SERVICE:PORT/diarization" -H  "accept: application/json" -H  "Content-Type: multipart/form-data" -F "file=@YOUR_FILE.wav;type=audio/x-wav" -F "spk_number=NUMBER_OF_SPEAKERS"

许可证

本项目采用AGPLv3许可证（详见LICENSE）。

致谢

• https://github.com/josepatino/pyBK 分轨框架（MIT许可证）。