openeuler/codegen

OPEA Docker镜像文档

镜像概述

OPEA Docker镜像是由openEuler CloudNative SIG维护的官方镜像，基于openEuler构建，用于部署OPEA平台相关服务。OPEA是一个开放平台项目，旨在创建开放、多提供商、健壮且可组合的生成式AI（GenAI）解决方案，整合生态系统中的创新技术。该镜像可免费使用，且不受每用户速率限制。

• 维护者：https://gitee.com/openeuler/cloudnative
• 获取帮助：https://gitee.com/openeuler/cloudnative%E3%80%81https://gitee.com/openeuler/community

核心功能与特性

OPEA平台包含以下核心组件：

• 可组合构建块框架：提供用于构建最先进生成式AI系统的详细组件，包括LLM（大语言模型）、数据存储和提示引擎
• 架构蓝图：检索增强型生成式AI组件栈结构和端到端工作流的设计方案
• 四步评估体系：围绕性能、功能、可信度和企业级就绪度对生成式AI系统进行分级评估

支持的标签及架构

CodeGen Docker镜像的标签由CodeGen版本和基础镜像版本组成，具体如下：

使用场景

适用于需要构建和部署企业级生成式AI解决方案的场景，特别适合代码生成服务（CodeGen）的部署，支持在Intel Gaudi2或Intel Xeon可扩展处理器上运行。

使用方法

部署方式

CodeGen服务支持两种部署方式：

1. 使用Docker Hub上的镜像
2. 使用从源码构建的镜像

前置要求：模型准备

默认LLM模型配置如下：

注意：meta-llama/CodeLlama-7b-hf是受限模型，需通过Hugging Face提交访问请求。可替换为其他模型，如https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat%E3%80%81https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-instruct%E3%80%82

若使用meta-llama/CodeLlama-7b-hf，需访问https://huggingface.co/meta-llama/CodeLlama-7b-hf%EF%BC%8C%E7%82%B9%E5%87%BB%22Expand to review and access"按钮申请访问权限。

快速开始步骤

1. 设置环境变量

1. 设置必要环境变量：

   bash
   # 示例：host_ip="192.168.1.1"
   export host_ip="外部公网IP"
   # 示例：no_proxy="localhost, 127.0.0.1, 192.168.1.1"
   export no_proxy="你的No_Proxy设置"
   export HUGGINGFACEHUB_API_TOKEN="你的Huggingface API令牌"
   

2. 若处于代理环境，还需设置代理变量：

   bash
   export http_proxy="你的HTTP代理"
   export https_proxy="你的HTTPS代理"
   

3. 设置其他环境变量：

   获取set_env.sh：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/codegen/doc/set_env.sh

   bash
   source set_env.sh
   

2. 运行Docker Compose

获取compose.yml：https://gitee.com/openeuler/openeuler-docker-images/tree/master/AI/opea/codegen/doc/compose.yml

bash
docker compose -f compose.yml up -d

该命令会自动从Docker Hub拉取镜像：

bash
docker pull openeuler/codegen:latest
docker pull openeuler/codegen-ui:latest

3. 调用CodeGen服务

通过终端cURL命令调用

bash
curl http://${host_ip}:7778/v1/codegen \
    -H "Content-Type: application/json" \
    -d '{"messages": "为TODO列表应用实现一个高级API。该API接收操作请求并就地更新TODO列表。若请求无效，抛出异常。"}'

通过前端界面访问

在浏览器中打开以下URL：http://{host_ip}:5173，默认UI内部运行在5173端口。

更多信息

• 访问opea.dev了解更多关于OPEA项目
• 查阅https://opea-project.github.io/%E8%8E%B7%E5%8F%96%E8%AF%A6%E7%BB%86%E6%8A%80%E6%9C%AF%E8%AF%B4%E6%98%8E