bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

kurdai-academy/mms-asr-1b-ckb_Kurdish_Sorani_finetuned_v4 镜像文档

镜像概述和主要用途

该Docker镜像包含一个针对库尔德语（索拉尼）优化的自动语音识别（ASR）模型，基于MMS-ASR-1B模型进行微调。镜像提供便捷的本地部署方案，通过REST API接口实现语音到文本的转换，适用于需要处理库尔德语语音数据的应用场景，兼顾隐私保护与定制化需求。

核心功能和特性

• 库尔德语（索拉尼）语音转文本：高精度识别库尔德语（索拉尼）语音内容
• 本地部署支持：可在私有环境中运行，避免数据通过第三方服务，增强隐私保护
• GPU加速：支持NVIDIA GPU，显著提升推理速度
• 模型权重缓存：支持本地存储模型权重，减少重复下载，节省带宽和时间
• 灵活配置参数：提供丰富的推理参数，支持调整生成文本长度、采样策略等

使用场景和适用范围

• 语音转录系统：将库尔德语（索拉尼）语音文件转换为文本记录
• 语音交互应用：集成到库尔德语语音助手或客服系统
• 内容审核工具：处理库尔德语语音内容的自动化审核
• 多语言服务：在多语言平台中提供库尔德语语音识别支持

使用方法和配置说明

前置要求

1. 安装Docker环境（确保Docker服务正常运行）
2. 获取Bytez API密钥：访问Bytez设置页面注册并获取API密钥（用于模型验证和更新通知）

拉取Docker镜像

bash
docker pull bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

运行容器

基础运行（默认端口8000）

bash
docker run -it \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -e PORT=8000 \
  -p 8000:8000 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

调整端口

如需使用其他端口（如80端口）：

bash
docker run -it \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -e PORT=80 \
  -p 80:80 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

本地缓存模型权重

为避免重复下载大模型权重，可将权重存储在本地目录（推荐用于大型模型）：

bash
docker run -it \
  -v /本地缓存目录:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

示例（Linux系统）：

bash
docker run -it \
  -v /home/user/models:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

GPU加速

确保已安装NVIDIA驱动和CUDA，添加--gpus all参数启用GPU支持：

bash
docker run -it \
  --gpus all \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

本地缓存+GPU加速

结合本地缓存和GPU加速：

bash
docker run -it \
  --gpus all \
  -v /本地缓存目录:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/kurdai-academy_mms-asr-1b-ckb_kurdish_sorani_finetuned_v4

发送推理请求

通过POST请求调用API，发送Base64编码的WAV音频数据：

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "b64AudioBufferWav": "INSERT_B64_WAV_AUDIO_HERE",
  "params": {
    "forward_params": {
      "language": "french",
      "task": "transcribe"
    }
  }
}'

环境变量说明

模型参数

长度控制

• max_length (int, 可选)：生成 tokens 的最大长度，默认20
• max_new_tokens (int, 可选)：生成的新 tokens 最大数量（忽略输入 prompt 中的 tokens 数）
• min_length (int, 可选)：生成序列的最小长度，默认0
• min_new_tokens (int, 可选)：生成的新 tokens 最小数量（忽略输入 prompt 中的 tokens 数）
• early_stopping (bool/str, 可选)：控制基于 beam 的方法的停止条件，默认False
• max_time (float, 可选)：计算的最大时间限制

生成策略

• do_sample (bool, 可选)：是否使用采样而非贪婪解码，默认False
• num_beams (int, 可选)：beam搜索的beam数量，默认1
• num_beam_groups (int, 可选)：beam组数量（用于组间多样性），默认1
• penalty_alpha (float, 可选)：平衡模型置信度和退化惩罚
• use_cache (bool, 可选)：是否使用缓存加速解码，默认True

LOGITS操作

• temperature (float, 可选)：调节下一个 token 概率的温度值，默认1
• top_k (int, 可选)：保留概率最高的前k个 token，默认50
• top_p (float, 可选)：累积概率达到top_p的最小token集，默认1
• typical_p (float, 可选)：局部典型性采样阈值，默认1
• epsilon_cutoff (float, 可选)：截断采样阈值（0-1），默认0
• eta_cutoff (float, 可选)：Eta采样阈值（0-1），默认0
• diversity_penalty (float, 可选)：组beam搜索中的多样性惩罚，默认0
• repetition_penalty (float, 可选)：重复惩罚参数，默认1（无惩罚）
• encoder_repetition_penalty (float, 可选)：编码器重复惩罚，默认1
• length_penalty (float, 可选)：长度惩罚指数，默认1
• no_repeat_ngram_size (int, 可选)：禁止重复n-gram的大小，默认0
• bad_words_ids (List[List[int]], 可选)：禁止生成的token ID列表
• force_words_ids (List[List[int]], 可选)：强制生成的token ID列表
• renormalize_logits (bool, 可选)：应用logits处理器后是否重新归一化，默认false
• constraints (List[Constraint], 可选)：自定义生成约束
• forced_bos_token_id (int, 可选)：强制的序列开始token ID
• forced_eos_token_id (int/List[int], 可选)：强制的序列结束token ID
• remove_invalid_values (bool, 可选)：是否移除无效值（nan/inf），默认false
• exponential_decay_length_penalty (tuple(int, float), 可选)：指数衰减长度惩罚
• suppress_tokens (List[int], 可选)：抑制生成的token列表
• begin_suppress_tokens (List[int], 可选)：生成开始时抑制的token列表
• forced_decoder_ids (List[List[int]], 可选)：强制解码器token映射
• sequence_bias (Dict[Tuple[int], float], 可选)：序列偏置字典
• guidance_scale (float, 可选)：分类器自由引导的引导尺度
• low_memory (bool, 可选)：低内存模式，默认false

生成参数

• num_return_sequences (int, 可选)：返回的独立序列数，默认1
• output_attentions (bool, 可选)：是否返回注意力张量，默认false
• output_hidden_states (bool, 可选)：是否返回隐藏状态，默认false
• output_scores (bool, 可选)：是否返回预测分数，默认false
• output_logits (bool, 可选)：是否返回未处理的logits，默认false
• return_dict_in_generate (bool, 可选)：是否返回ModelOutput对象，默认false

特殊 tokens

• pad_token_id (int, 可选)：填充token ID
• bos_token_id (int, 可选)：序列开始token ID
• eos_token_id (int/List[int], 可选)：序列结束token ID

编码器-解码器生成参数

• encoder_no_repeat_ngram_size (int, 可选)：编码器输入中禁止重复的n-gram大小，默认0
• decoder_start_token_id (int/List[int], 可选)：解码器开始token ID

辅助生成参数

• num_assistant_tokens (int, 可选)：辅助模型生成的推测token数，默认5
• num_assistant_tokens_schedule (str, 可选)：辅助token调度策略，默认"heuristic"

缓存参数

• cache_implementation (str, 可选)：生成时使用的缓存实现，默认null

生成 kwargs

• generation_kwargs (object, 可选)：传递给generate函数的额外参数

完整参数列表可参考https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py%E3%80%82

支持与帮助

• ***社区：Bytez ***
• 邮件支持：***