openeuler/docsum

OPEA Docker镜像文档

镜像概述

OPEA Docker镜像是基于https://repo.openeuler.org/构建的官方镜像，由https://gitee.com/openeuler/cloudnative维护。OPEA是一个开放平台项目，旨在帮助用户创建开放、多提供商、稳健且可组合的生成式AI解决方案，充分利用生态系统中的创新成果。该镜像可免费使用，且不受每用户速率限制。

核心功能与特性

• 可组合构建块框架：提供用于构建最先进生成式AI系统的详细框架，包括LLM、数据存储和提示引擎

• 架构蓝图：提供检索增强型生成式AI组件堆栈结构和端到端工作流的架构蓝图

• 四步评估体系：围绕性能、功能、可信度和企业级就绪度对生成式AI系统进行分级评估

支持的标签及Dockerfile链接

每个DocSum Docker镜像的标签由DocSum版本和基础镜像版本组成组成，具体如下：

使用场景

DocSum服务可在Intel Gaudi2或Intel Xeon可扩展处理器上部署，适用于需要对文本、音频、视频等内容进行智能处理和生成摘要的场景，如文档分析、内容摘要生成、多模态数据处理等。

使用方法

部署方式

支持两种使用Docker Compose部署DocSum服务的方式：

1. 从Docker Hub拉取镜像：

   ```bash
   docker pull docker.xuanyuan.run/openeuler/docsum:latest

2. 从源码构建镜像后部署

环境准备

1. 必要模型

默认模型为"Intel/neural-chat-7b-v3-3"，如需使用其他模型，可通过修改环境变量LLM_MODEL_ID进行配置。

2. 设置环境变量

1. 设置必要环境变量：

   bash
   # 示例：host_ip="192.168.1.1"
   export host_ip="外部公网IP"
   # 示例：no_proxy="localhost, 127.0.0.1, 192.168.1.1"
   export no_proxy="你的No_Proxy设置"
   export HUGGINGFACEHUB_API_TOKEN="你的Huggingface API令牌"
   

2. 如在代理环境中，还需设置代理相关环境变量：

   bash
   export http_proxy="你的HTTP代理"
   export https_proxy="你的HTTPS代理"
   

3. 设置其他环境变量：

   获取set_env.sh：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/docsum/doc/set_env.sh

   bash
   source set_env.sh
   

启动服务

获取compose.yml：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/docsum/doc/compose.yml

bash
docker compose -f compose.yml up -d

服务启动后将自动从Docker Hub拉取所需镜像：

bash
docker pull docker.xuanyuan.run/openeuler/docsum:latest
docker pull docker.xuanyuan.run/openeuler/docsum-ui:latest

服务调用

1. 使用cURL命令调用

文本处理：

bash
curl -X POST [***]{host_ip}:8888/v1/docsum \
     -H "Content-Type: application/json" \
     -d '{"type": "text", "messages": "Text Embeddings Inference (TEI)是一个用于部署和服务开源文本嵌入和序列分类模型的工具包。TEI支持对最流行的模型（包括FlagEmbedding、Ember、GTE和E5）进行高性能提取。"}'

# 使用英文模式（默认）
curl [***]{host_ip}:8888/v1/docsum \
    -H "Content-Type: multipart/form-data" \
    -F "type=text" \
    -F "messages=Text Embeddings Inference (TEI) is a toolkit for deploying and serving open source text embeddings and sequence classification models. TEI enables high-performance extraction for the most popular models, including FlagEmbedding, Ember, GTE and E5." \
    -F "max_tokens=32" \
    -F "language=en" \
    -F "stream=true"

# 使用中文模式
curl [***]{host_ip}:8888/v1/docsum \
    -H "Content-Type: multipart/form-data" \
    -F "type=text" \
    -F "messages=2024年9月26日，北京——今日，英特尔正式发布英特尔® 至强® 6性能核处理器（代号Granite Rapids），为AI、数据分析、科学计算等计算密集型业务提供卓越性能。" \
    -F "max_tokens=32" \
    -F "language=zh" \
    -F "stream=true"

# 上传文件（支持.txt、.docx、.pdf格式）
curl [***]{host_ip}:8888/v1/docsum \
   -H "Content-Type: multipart/form-data" \
   -F "type=text" \
   -F "messages=" \
   -F "files=@/你的文件路径（.txt, .docx, .pdf）" \
   -F "max_tokens=32" \
   -F "language=en" \
   -F "stream=true"

注意：cURL请求不支持音频和视频文件上传，请使用Gradio-UI进行操作。

音频处理：

bash
curl -X POST [***]{host_ip}:8888/v1/docsum \
   -H "Content-Type: application/json" \
   -d '{"type": "audio", "messages": "UklGRigAAABXQVZFZm10IBIAAAABAAEARKwAAIhYAQACABAAAABkYXRhAgAAAAEA"}'

curl [***]{host_ip}:8888/v1/docsum \
   -H "Content-Type: multipart/form-data" \
   -F "type=audio" \
   -F "messages=UklGRigAAABXQVZFZm10IBIAAAABAAEARKwAAIhYAQACABAAAABkYXRhAgAAAAEA" \
   -F "max_tokens=32" \
   -F "language=en" \
   -F "stream=true"

视频处理：

bash
curl -X POST [***]{host_ip}:8888/v1/docsum \
   -H "Content-Type: application/json" \
   -d '{"type": "video", "messages": "将视频转换为base64数据类型"}'

curl [***]{host_ip}:8888/v1/docsum \
   -H "Content-Type: multipart/form-data" \
   -F "type=video" \
   -F "messages=将视频转换为base64数据类型" \
   -F "max_tokens=32" \
   -F "language=en" \
   -F "stream=true"

2. 通过前端界面访问

在浏览器中打开以下URL访问前端界面：[***]{host_ip}:5173。默认情况下，UI在内部端口5173上运行。

获取帮助

如需帮助，可通过以下渠道获取支持：

• https://gitee.com/openeuler/cloudnative
• https://gitee.com/openeuler/community

更多关于OPEA的信息，请访问https://opea.dev/，技术文档请访问https://opea-project.github.io/。