bytez/akaisora_sql-gen-join

Akaisora/sql-gen-join 镜像文档

镜像概述和主要用途

Akaisora/sql-gen-join是一个专注于文本生成任务的Docker镜像，镜像名称为bytez/akaisora_sql-gen-join。该镜像提供本地部署的文本生成能力，需配合免费的Bytez API密钥使用，支持通过API接口进行文本生成请求。适用于需要隐私保护、定制化生成参数或本地资源控制的文本生成场景，如应用开发、实验环境部署等。

核心功能和特性

• 本地部署：通过Docker容器化部署，简化环境配置流程
• API密钥集成：需Bytez API密钥（免费获取），用于模型分析和升级通知
• 多设备支持：可运行于CPU或GPU（需Nvidia驱动和CUDA）
• 权重本地缓存：支持模型权重本地存储，减少重复下载时间
• 灵活参数配置：提供丰富的文本生成参数（如长度控制、采样策略等）
• 流式响应：支持流式和非流式两种响应模式

使用场景和适用范围

• 本地文本生成应用开发与测试
• 对数据隐私有要求的文本生成任务
• 需要定制化生成参数的实验场景
• 资源受限环境下的模型部署（支持CPU/GPU切换）
• 需避免重复下载大模型权重的场景

详细使用方法和配置说明

前置要求

1. 安装Docker环境
2. 注册Bytez账号并获取API密钥（通过Bytez设置页面获取）

拉取Docker镜像

bash
docker pull bytez/akaisora_sql-gen-join

运行容器

基本运行（默认端口8000）

bash
docker run -it \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -e PORT=8000 \
 -p 8000:8000 \
 bytez/akaisora_sql-gen-join

自定义端口配置

如需使用其他端口（如80）：

bash
docker run -it \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -e PORT=80 \
 -p 80:80 \
 bytez/akaisora_sql-gen-join

发送推理请求

容器启动后，可通过POST请求调用文本生成服务。

非流式请求

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "Once upon a time there was a ",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

流式请求

设置"stream": true可获取流式响应（响应格式为text/event-stream; charset=utf-8）：

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "Once upon a time there was a ",
  "stream": true,
  "params": {
    "max_new_tokens": 50
  }
}'

本地缓存模型权重

为避免重复下载大模型权重（尤其适用于大型模型），可通过挂载本地目录实现权重持久化：

bash
docker run -it \
 -v /本地缓存目录路径:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/akaisora_sql-gen-join

说明：-v参数将本地目录挂载到容器内/server/model路径，HF_HOME环境变量指定模型加载路径。

GPU加速运行

需安装Nvidia驱动和CUDA，运行时添加--gpus all参数：

bash
docker run -it \
 --gpus all \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/akaisora_sql-gen-join

本地缓存+GPU加速

组合本地缓存和GPU加速功能：

bash
docker run -it \
 --gpus all \
 -v /本地缓存目录路径:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/akaisora_sql-gen-join

环境变量说明

模型参数详解

长度控制

• max_length (int, 可选)：生成文本的最大长度，默认20
• max_new_tokens (int, 可选)：生成的新token最大数量（忽略输入prompt长度）
• min_length (int, 可选)：生成文本的最小长度，默认0
• min_new_tokens (int, 可选)：生成的新token最小数量（忽略输入prompt长度）
• early_stopping (bool或str, 可选)：控制基于beam的生成停止条件，默认False
• max_time (float, 可选)：生成计算的最大时间限制

生成策略

• do_sample (bool, 可选)：是否使用采样而非贪婪解码，默认False
• num_beams (int, 可选)：beam搜索的beam数量，默认1
• num_beam_groups (int, 可选)：beam组数量（用于多样性），默认1
• penalty_alpha (float, 可选)：平衡模型置信度和退化惩罚
• use_cache (bool, 可选)：是否使用缓存加速解码，默认True

概率调整

• temperature (float, 可选)：调整生成概率分布的温度参数，默认1.0
• top_k (int, 可选)：保留top-k个最高概率token，默认50
• top_p (float, 可选)：核采样阈值，默认1.0
• typical_p (float, 可选)：局部典型性采样阈值，默认1.0
• repetition_penalty (float, 可选)：重复惩罚参数，1.0表示无惩罚
• length_penalty (float, 可选)：长度惩罚参数，>0促进长文本，<0促进短文本，默认1.0
• no_repeat_ngram_size (int, 可选)：禁止重复n-gram的大小，默认0（不限制）

其他参数

• num_return_sequences (int, 可选)：返回的独立生成序列数量，默认1
• pad_token_id (int, 可选)：填充token ID
• bos_token_id (int, 可选)：序列开始token ID
• eos_token_id (int或List[int], 可选)：序列结束token ID（可指定多个）

完整参数列表可参考https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py%E3%80%82

支持与帮助

• 加入Bytez ***社区获取实时支持
• 发送邮件至***获取帮助