zh794390558/delta

DELTA Docker镜像文档

镜像概述

DELTA是一个基于深度学习的端到端自然语言处理和语音处理平台，主要使用TensorFlow和Python 3实现。本Docker镜像封装了DELTA平台的完整运行环境，旨在为学术研究和工业应用提供便捷、一致的模型训练、开发与部署解决方案，避免环境配置复杂问题，实现"一键部署"体验。

核心功能与特性

• 环境一致性：预配置所有依赖组件（包括TensorFlow、Kaldi等），确保不同环境下的运行结果一致
• 快速部署：无需手动安装依赖，拉取镜像即可使用，支持NLP和语音任务的全流程操作
• 多任务支持：覆盖主流NLP任务（文本分类、命名实体识别、问答系统等）和语音任务（语音识别、说话人验证、情感识别等）
• 完整工作流：集成数据处理、模型训练、评估、推理和部署全流程工具
• 灵活配置：通过配置文件轻松调整模型参数和网络结构，支持自定义模型开发

使用场景与适用范围

• 学术研究：快速复现DELTA平台的基准模型，验证新算法和模型结构
• 工业生产：部署NLP和语音处理模型到生产环境，服务大规模用户
• 教学实践：作为深度学习NLP/语音课程的实践平台，降低环境配置门槛
• 快速原型开发：在统一环境中开发和测试新模型，加速迭代过程

使用方法与配置说明

镜像拉取

目前提供的DELTA Docker镜像包括基础运行环境和部署专用环境，可通过以下命令拉取：

bash
# 基础运行环境（支持NLP和语音任务）
docker pull zh794390558/delta:latest

# 部署专用环境（用于模型部署和测试）
docker pull zh794390558/delta:deltann-cpu-py3

基本使用示例

1. 启动交互式容器

bash
docker run -it --name delta-container zh794390558/delta:latest /bin/bash

进入容器后，激活DELTA环境并验证安装：

bash
# 激活conda环境
conda activate delta-py3.6-tf2.3.0

# 加载DELTA环境变量
source env.sh

# 生成测试数据并训练模型（以文本分类为例）
pushd egs/mock_text_cls_data/text_cls/v1
./run.sh
popd
python3 delta/main.py --cmd train_and_eval --config egs/mock_text_cls_data/text_cls/v1/config/han-cls.yml

2. 使用Docker Compose部署（示例）

创建docker-compose.yml文件：

yaml
version: '3'
services:
  delta:
    image: zh794390558/delta:latest
    container_name: delta-service
    volumes:
      - ./data:/delta/data  # 挂载数据目录
      - ./config:/delta/config  # 挂载配置文件目录
      - ./models:/delta/models  # 挂载模型存储目录
    command: >
      bash -c "conda activate delta-py3.6-tf2.3.0 &&
               source env.sh &&
               python3 delta/main.py --cmd train_and_eval --config /delta/config/model_config.yml"

启动服务：

bash
docker-compose up -d

模型部署流程

使用部署专用镜像进行模型部署：

1. 拉取部署镜像：

bash
docker pull zh794390558/delta:deltann-cpu-py3

2. 启动部署容器并挂载模型和配置文件：

bash
docker run -it -v ./dpl:/delta/dpl zh794390558/delta:deltann-cpu-py3 /bin/bash

3. 执行部署脚本：

bash
cd tools && make deltann  # 下载第三方依赖
cd dpl && ./run.sh  # 转换模型并编译部署库

部署输出文件将保存在dpl/output目录，包含所有部署所需的库和配置。

配置说明

DELTA通过YAML配置文件管理模型参数和训练流程，主要配置项包括：

• data：数据路径、预处理方式、批大小等
• model：模型类型、网络结构参数、优化器配置等
• train：训练轮数、学习率策略、保存路径等
• eval：评估指标、评估频率等

配置文件示例可参考egs目录下各任务的配置（如egs/conll2003/seq_label/v1/config/seq-label.yml）。

基准性能

Docker镜像环境下的模型性能与原生环境一致，可复现DELTA平台的基准结果，部分关键任务性能如下：

• NLP任务：CoNLL 2003命名实体识别（BiLSTM-CRF模型）F1值84.6；TREC文本分类（CNN模型）准确率92.2
• 语音任务：HKUST语音识别（CTC模型）字符错误率36.49；VoxCeleb说话人验证（TDNN模型）等错误率3.028

详细基准数据可参考DELTA官方文档的发布模型部分。

注意事项

• 首次运行需下载数据集，建议挂载本地目录以避免重复下载
• 语音任务依赖Kaldi库，已预安装在镜像中，无需额外配置
• 生产环境部署建议使用部署专用镜像（deltann系列），并根据需求调整资源限制
• 如需使用GPU加速，需确保Docker环境支持GPU，并拉取对应GPU版本镜像