openeuler/searchqna

OPEA Docker镜像文档

镜像概述和主要用途

OPEA Docker镜像是基于openEuler构建的官方镜像，由openEuler CloudNative SIG维护。该镜像免费使用且无每用户速率限制，旨在提供开放、多供应商、稳健且可组合的生成式AI（GenAI）解决方案，帮助用户构建集成LLM、数据存储和提示引擎的先进GenAI系统。

核心功能和特性

OPEA平台核心组件

• 可组合构建块框架：包含用于最先进生成式AI系统的详细构建块，涵盖LLM、数据存储和提示引擎
• 架构蓝图：提供检索增强生成AI组件堆栈结构和端到端工作流的设计方案
• 四步评估体系：围绕性能、功能、可信度和企业级就绪度对生成式AI系统进行分级评估

技术特性

• 支持在Intel Gaudi2、Intel Xeon可扩展处理器和Nvidia GPU上部署
• 提供两种SearchQnA管道类型：带Rerank和不带Rerank
• 针对无法在HPU上运行rerank服务但需要高性能和准确性的Xeon用户，提供不含Rerank的管道（包含Embedding、Retrieval和LLM）

支持的标签及对应Dockerfile链接

每个SearchQnA Docker镜像的标签由SearchQnA版本和基础镜像版本组成，具体信息如下：

使用场景和适用范围

适用于需要构建检索增强生成（RAG）系统的各类场景，包括但不限于：

• 企业知识库智能问答系统
• 信息检索与内容生成平台
• 基于LLM的智能客服系统
• 学术研究与教育领域的智能检索工具

详细使用方法和配置说明

快速部署步骤

1. 设置环境变量
2. 运行Docker Compose
3. 使用SearchQnA服务

1. 设置环境变量

基本环境变量配置

bash
# 示例：host_ip="192.168.1.1"
export host_ip="外部公网IP"
# 示例：no_proxy="localhost, 127.0.0.1, 192.168.1.1"
export no_proxy="你的无需代理地址"
export HUGGINGFACEHUB_API_TOKEN="你的Huggingface API令牌"

代理环境配置（如适用）

bash
export http_proxy="你的HTTP代理"
export https_proxy="你的HTTPS代理"

其他环境变量设置

获取set_env.sh：set_env.sh

bash
# 在Xeon处理器上
source set_env.sh

2. 运行Docker Compose

选择与硬件匹配的compose.yaml文件。

CPU环境示例

获取compose.yml：compose.yml

bash
docker compose -f compose.yml up -d

系统将自动从Docker Hub下载所需镜像：

bash
docker pull openeuler/searchqna:latest
docker pull openeuler/searchqna-ui:latest

3. 使用SearchQnA服务

通过以下命令调用SearchQnA服务：

bash
curl http://${host_ip}:3008/v1/searchqna -H "Content-Type: application/json" -d '{
     "messages": "最新的新闻是什么？请提供来源链接。",
     "stream": "True"
     }'

获取帮助

• openEuler CloudNative SIG
• openEuler社区

更多信息

• 访问opea.dev了解OPEA项目
• 查阅https://opea-project.github.io/%E8%8E%B7%E5%8F%96OPEA%E6%8A%80%E6%9C%AF%E6%96%87%E6%A1%A3