openeuler/audioqna

OPEA Docker镜像文档

快速参考

• 官方OPEA Docker镜像

• 维护者：https://gitee.com/openeuler/cloudnative

• 获取帮助：https://gitee.com/openeuler/cloudnative%E3%80%81https://gitee.com/openeuler/community

OPEA | openEuler

当前OPEA Docker镜像基于https://repo.openeuler.org/%E6%9E%84%E5%BB%BA%E3%80%82%E6%9C%AC%E4%BB%93%E5%BA%93%E5%8F%AF%E5%85%8D%E8%B4%B9%E4%BD%BF%E7%94%A8%EF%BC%8C%E4%B8%94%E6%97%A0%E6%AF%8F%E7%94%A8%E6%88%B7%E9%80%9F%E7%8E%87%E9%99%90%E5%88%B6%E3%80%82

OPEA是一个开放平台项目，旨在创建开放、多供应商、健壮且可组合的生成式AI解决方案，充分利用生态系统中的创新成果。

OPEA平台包含：

• 用于最先进生成式AI系统的详细可组合构建块框架，包括大型语言模型(LLMs)、数据存储和提示引擎

• 检索增强生成式AI组件堆栈结构和端到端工作流的架构蓝图

• 围绕性能、功能、可信度和企业级就绪性对生成式AI系统进行评分的四步评估法

在https://opea.dev/%E4%BA%86%E8%A7%A3%E6%9B%B4%E5%A4%9AOPEA%E4%BF%A1%E6%81%AF%EF%BC%8C%E5%9C%A8https://opea-project.github.io/%E6%9F%A5%E7%9C%8B%E6%8A%80%E6%9C%AF%E6%96%87%E6%A1%A3%E3%80%82

支持的标签及Dockerfile链接

每个AudioQnA Docker镜像标签由AudioQnA版本和基础镜像版本组成，详情如下：

使用方法

AudioQnA服务可部署在Intel Gaudi2、Intel Xeon可扩展处理器和Nvidia GPU上，支持两种管道：带重排序的AudioQnA和不带重排序的AudioQnA。后者（含嵌入、检索和LLM）为无法在HPU上运行重排序服务但需高性能的Xeon用户提供。

部署步骤

1. 设置环境变量

1. 设置必要环境变量：

   bash
   # 示例：host_ip="192.168.1.1"
   export host_ip="外部公网IP"
   # 示例：no_proxy="localhost, 127.0.0.1, 192.168.1.1"
   export no_proxy="无需代理列表"
   export HUGGINGFACEHUB_API_TOKEN="Huggingface API令牌"
   

2. 代理环境需额外设置：

   bash
   export http_proxy="HTTP代理"
   export https_proxy="HTTPS代理"
   

3. 设置其他环境变量：

   获取set_env.sh：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/audioqna/doc/set_env.sh

   bash
   # Xeon环境执行
   source set_env.sh
   

2. 运行Docker Compose

选择与硬件匹配的compose文件：

获取compose.yml：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/audioqna/doc/compose.yml

CPU环境示例：

bash
docker compose -f compose.yml up -d

自动拉取镜像：

bash
docker pull docker.xuanyuan.run/openeuler/audioqna:latest
docker pull docker.xuanyuan.run/openeuler/audioqna-ui:latest

3. 使用AudioQnA服务

通过录制.wav文件、编码为base64格式并发送至服务端点测试。服务返回base64格式语音响应，解码后保存为.wav文件即可收听。

bash
# voice可选"default"或"male"
curl [***]{host_ip}:3008/v1/audioqna \
  -X POST \
  -d '{"audio": "UklGRigAAABXQVZFZm10IBIAAAABAAEARKwAAIhYAQACABAAAABkYXRhAgAAAAEA", "max_tokens":64, "voice":"default"}' \
  -H 'Content-Type: application/json' | sed 's/^"//;s/"$//' | base64 -d > output.wav