opea/llm-textgen

LLM文本生成微服务

该微服务专为语言模型推理（LLM）设计，处理包含查询字符串和相关重排文档的输入，基于查询和文档构建提示，再使用大型语言模型执行推理，并将推理结果作为输出返回。

使用此微服务的前提是用户必须已运行LLM文本生成服务（如TGI、vLLM），需将LLM服务的端点设置为环境变量。微服务通过该端点创建LLM对象，与LLM服务通信以执行语言模型操作。

总体而言，该微服务提供了一种简化的方式，将大型语言模型推理集成到应用中，用户只需启动TGI/vLLM服务并配置必要的环境变量，即可无缝处理查询和文档，生成智能、上下文感知的响应。

---

目录

1. 验证的LLM模型
2. 启动微服务
3. 使用微服务

---

验证的LLM模型

注意： vLLM-IPEX-XPU支持的模型详情可参见 https://github.com/intel/llm-scaler/tree/main/vllm#3-supported-models%E3%80%82

LLM模型的系统要求

注意： 详细的硬件要求将很快提供。

---

启动微服务

支持的集成后端

本微服务支持以下后端LLM服务集成，本文档将介绍TGI/vLLM/Ollama的使用，其他后端请参考对应文档：

• TGI
• vLLM
• Ollama
• https://github.com/opea-project/GenAIExamples/blob/main/./README_bedrock.md
• https://github.com/opea-project/GenAIExamples/blob/main/./README_native.md%EF%BC%88%E5%9F%BA%E4%BA%8EOptimum-Habana%EF%BC%89
• https://github.com/opea-project/GenAIExamples/blob/main/./README_predictionguard.md
• https://github.com/opea-project/GenAIExamples/blob/main/./README_vllm_ipex.md%EF%BC%88%E5%9F%BA%E4%BA%8EB60 Graphics）

克隆OPEA GenAIComps

克隆仓库

bash
git clone https://github.com/opea-project/GenAIComps.git

export OPEA_GENAICOMPS_ROOT=$(pwd)/GenAIComps

前置条件

• 获取HuggingFace模型访问权限和令牌：
  • https://huggingface.co/
  • 设置HF_TOKEN和LLM_MODEL为环境变量。

构建Docker镜像

后端LLM镜像

• 对于vLLM，请先参考 https://github.com/opea-project/GenAIExamples/blob/main/../../../third_parties/vllm/ 构建Docker镜像。

• TGI和Ollama无需构建。

构建TextGen微服务镜像

bash
cd ${OPEA_GENAICOMPS_ROOT}

docker build \
  --build-arg https_proxy=$https_proxy \
  --build-arg http_proxy=$http_proxy \
  -t opea/llm-textgen:latest \
  -f comps/llms/src/text-generation/Dockerfile .

运行Docker服务

可通过CLI或Docker Compose启动服务。compose_text-generation.yaml文件将自动启动端点和微服务容器。

设置环境变量

启动服务前，需先设置以下环境变量：

bash
export LLM_ENDPOINT_PORT=8008
export TEXTGEN_PORT=9000
export host_ip=${host_ip}
export HF_TOKEN=${HF_TOKEN}
export LLM_ENDPOINT="http://${host_ip}:${LLM_ENDPOINT_PORT}"
export LLM_MODEL_ID="Intel/neural-chat-7b-v3-3"

选项A：通过CLI运行Docker

1. 启动后端LLM服务（https://github.com/opea-project/GenAIExamples/blob/main/../../../third_parties/tgi/, https://github.com/opea-project/GenAIExamples/blob/main/../../../third_parties/vllm/, https://github.com/opea-project/GenAIExamples/blob/main/../../../third_parties/ollama/%EF%BC%89%E3%80%82

2. 启动TextGen微服务：

bash
export LLM_COMPONENT_NAME="OpeaTextGenService"
docker run \
  --name="llm-textgen-server" \
  -p $TEXTGEN_PORT:9000 \
  --ipc=host \
  -e http_proxy=$http_proxy \
  -e https_proxy=$https_proxy \
  -e no_proxy=${no_proxy} \
  -e LLM_ENDPOINT=$LLM_ENDPOINT \
  -e HF_TOKEN=$HF_TOKEN \
  -e LLM_MODEL_ID=$LLM_MODEL_ID \
  -e LLM_COMPONENT_NAME=$LLM_COMPONENT_NAME \
  docker.xuanyuan.run/opea/llm-textgen:latest

选项B：通过Docker Compose运行

设置service_name以匹配后端服务：

bash
export service_name="textgen-service-tgi"
# export service_name="textgen-service-tgi-gaudi"
# export service_name="textgen-service-vllm"
# export service_name="textgen-service-vllm-gaudi"
# export service_name="textgen-service-ollama"

cd ../../deployment/docker_compose/
docker compose -f compose_text-generation.yaml up ${service_name} -d

---

使用微服务

检查服务状态

bash
curl http://${host_ip}:${TEXTGEN_PORT}/v1/health_check\
  -X GET \
  -H 'Content-Type: application/json'

验证微服务

可根据实际需求设置模型参数，如max_tokens、stream。stream参数决定API返回数据格式：stream=false返回文本字符串，stream=true返回文本流。

bash
# 流式模式
curl [***]{host_ip}:${TEXTGEN_PORT}/v1/chat/completions \
    -X POST \
    -d '{"model": "${LLM_MODEL_ID}", "messages": "What is Deep Learning?", "max_tokens":17}' \
    -H 'Content-Type: application/json'

curl [***]{host_ip}:${TEXTGEN_PORT}/v1/chat/completions \
    -X POST \
    -d '{"model": "${LLM_MODEL_ID}", "messages": [{"role": "user", "content": "What is Deep Learning?"}], "max_tokens":17}' \
    -H 'Content-Type: application/json'

# 非流式模式
curl [***]{host_ip}:${TEXTGEN_PORT}/v1/chat/completions \
    -X POST \
    -d '{"model": "${LLM_MODEL_ID}", "messages": "What is Deep Learning?", "max_tokens":17, "stream":false}' \
    -H 'Content-Type: application/json'