openeuler/audioqna

OPEA Docker镜像文档

快速参考

• 官方OPEA Docker镜像

• 维护者：openEuler CloudNative SIG

• 获取帮助：openEuler CloudNative SIG、openEuler

OPEA | openEuler

当前OPEA Docker镜像基于openEuler构建。本仓库可免费使用，且无每用户速率限制。

OPEA是一个开放平台项目，旨在创建开放、多供应商、健壮且可组合的生成式AI解决方案，充分利用生态系统中的创新成果。

OPEA平台包含：

• 用于最先进生成式AI系统的详细可组合构建块框架，包括大型语言模型(LLMs)、数据存储和提示引擎

• 检索增强生成式AI组件堆栈结构和端到端工作流的架构蓝图

• 围绕性能、功能、可信度和企业级就绪性对生成式AI系统进行评分的四步评估法

在opea.dev了解更多OPEA信息，在https://opea-project.github.io/%E6%9F%A5%E7%9C%8B%E6%8A%80%E6%9C%AF%E6%96%87%E6%A1%A3%E3%80%82

支持的标签及Dockerfile链接

每个AudioQnA Docker镜像标签由AudioQnA版本和基础镜像版本组成，详情如下：

使用方法

AudioQnA服务可部署在Intel Gaudi2、Intel Xeon可扩展处理器和Nvidia GPU上，支持两种管道：带重排序的AudioQnA和不带重排序的AudioQnA。后者（含嵌入、检索和LLM）为无法在HPU上运行重排序服务但需高性能的Xeon用户提供。

部署步骤

1. 设置环境变量

1. 设置必要环境变量：

   bash
   # 示例：host_ip="192.168.1.1"
   export host_ip="外部公网IP"
   # 示例：no_proxy="localhost, 127.0.0.1, 192.168.1.1"
   export no_proxy="无需代理列表"
   export HUGGINGFACEHUB_API_TOKEN="Huggingface API令牌"
   

2. 代理环境需额外设置：

   bash
   export http_proxy="HTTP代理"
   export https_proxy="HTTPS代理"
   

3. 设置其他环境变量：

   获取set_env.sh：set_env.sh

   bash
   # Xeon环境执行
   source set_env.sh
   

2. 运行Docker Compose

选择与硬件匹配的compose文件：

获取compose.yml：compose.yml

CPU环境示例：

bash
docker compose -f compose.yml up -d

自动拉取镜像：

bash
docker pull openeuler/audioqna:latest
docker pull openeuler/audioqna-ui:latest

3. 使用AudioQnA服务

通过录制.wav文件、编码为base64格式并发送至服务端点测试。服务返回base64格式语音响应，解码后保存为.wav文件即可收听。

bash
# voice可选"default"或"male"
curl [***]{host_ip}:3008/v1/audioqna \
  -X POST \
  -d '{"audio": "UklGRigAAABXQVZFZm10IBIAAAABAAEARKwAAIhYAQACABAAAABkYXRhAgAAAAEA", "max_tokens":64, "voice":"default"}' \
  -H 'Content-Type: application/json' | sed 's/^"//;s/"$//' | base64 -d > output.wav