bytez/akaisora_sql-gen-join-opt Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

Akaisora/sql-gen-join-opt 镜像文档

镜像概述

Akaisora/sql-gen-join-opt 是一个文本生成（text-generation）模型的Docker镜像，主要用于SQL生成与连接优化任务。该镜像支持本地部署，提供灵活的配置选项，包括GPU加速、权重本地缓存和多样化的生成参数调整，适用于需要隐私保护、自定义控制的文本生成场景。

核心功能与特性

• 文本生成：专注于SQL生成和连接优化任务，支持自定义生成参数
• 本地部署：通过Docker容器化部署，简化环境配置
• GPU加速：支持Nvidia GPU，提升生成效率
• 权重缓存：可将模型权重保存至本地磁盘，避免重复下载
• 灵活配置：支持端口调整、设备指定（CPU/GPU/自动）等环境变量配置
• 流式响应：支持流式生成模式，实时返回结果

使用场景

• 开发环境中的SQL生成与优化测试
• 需要本地部署以保障数据隐私的企业级应用
• 对生成参数有精细调整需求的研究场景
• 资源有限环境下的模型部署（支持CPU运行）

使用方法

前置要求

1. 安装Docker环境
2. 获取Bytez API密钥：访问Bytez设置页面注册并登录，获取API密钥

拉取镜像

bash
docker pull bytez/akaisora_sql-gen-join-opt

基本运行（CPU）

bash
docker run -it \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -e PORT=8000 \
  -p 8000:8000 \
  bytez/akaisora_sql-gen-join-opt

调整端口

如需使用其他端口（如80端口）：

bash
docker run -it \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -e PORT=80 \
  -p 80:80 \
  bytez/akaisora_sql-gen-join-opt

执行推理请求

通过POST请求调用模型：

bash
curl --location '[***] \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "Once upon a time there was a ",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

• stream: true 可启用流式响应，响应格式为"text/event-stream; charset=utf-8"

本地权重缓存

为避免重复下载大模型权重，可将权重保存至本地目录：

bash
docker run -it \
  -v /PATH/TO/YOUR/CACHING/DIRECTORY:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/akaisora_sql-gen-join-opt

示例（Linux系统）：

bash
docker run -it \
  -v /home/user/models:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/akaisora_sql-gen-join-opt

GPU加速运行

需先安装Nvidia驱动和CUDA，运行时添加--gpus all参数：

bash
docker run -it \
  --gpus all \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/akaisora_sql-gen-join-opt

本地缓存+GPU加速

bash
docker run -it \
  --gpus all \
  -v /PATH/TO/YOUR/CACHING/DIRECTORY:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=YOUR_BYTEZ_API_KEY_HERE \
  -p 8000:8000 \
  -e PORT=8000 \
  bytez/akaisora_sql-gen-join-opt

环境变量配置

• DEVICE=auto：自动检测，优先使用GPU，内存不足时使用系统RAM
• DEVICE=cuda：强制使用GPU
• DEVICE=cpu：强制使用CPU

模型参数

长度控制

生成策略

概率调整

其他参数

完整参数列表可参考Hugging Face文档

支持与帮助

• Bytez ***社区
• 邮件支持：***

本地部署模型可增强隐私性、控制力和自定义能力，祝您使用愉快！