bytez/succinctly_text2image-prompt-generator

镜像概述

本Docker镜像封装了succinctly/text2image-prompt-generator模型，是一款专注于生成文本到图像任务提示词的文本生成工具。它支持本地部署、GPU加速和参数自定义，帮助用户高效创建高质量提示词。

核心功能

• 生成适用于文本到图像模型的精准提示词。
• 支持模型权重本地缓存，减少重复下载耗时。
• 启用GPU加速以提升推理效率。
• 提供灵活的生成参数调优（如最大tokens数、温度、top_p等）。
• 支持标准响应和流式响应两种推理模式。

使用场景

• 辅助用户为文本到图像工具创作优质提示词。
• 集成到本地应用或服务中，增强内容生成能力。
• 用于文本生成在视觉创作领域的研究与实验。

配置说明

前置要求

1. 确保已安装Docker环境。
2. 需获取免费Bytez API密钥（用于接收模型升级通知和分析信息），可通过Bytez官网注册获取。

Docker部署示例

步骤1：拉取镜像

bash
docker pull docker.xuanyuan.run/bytez/succinctly_text2image-prompt-generator

步骤2：基础启动（端口8000）

bash
docker run -it \
 -e KEY=你的Bytez API密钥 \
 -e PORT=8000 \
 -p 8000:8000 \
 bytez/succinctly_text2image-prompt-generator

调整端口（如改为80）

bash
docker run -it \
 -e KEY=你的Bytez API密钥 \
 -e PORT=80 \
 -p 80:80 \
 bytez/succinctly_text2image-prompt-generator

本地缓存模型权重

bash
docker run -it \
 -v /本地缓存目录:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=你的Bytez API密钥 \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/succinctly_text2image-prompt-generator

GPU加速运行

bash
docker run -it \
 --gpus all \
 -e KEY=你的Bytez API密钥 \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/succinctly_text2image-prompt-generator

本地缓存+GPU加速

bash
docker run -it \
 --gpus all \
 -v /本地缓存目录:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=你的Bytez API密钥 \
 -p 8000:8000 \
 -e PORT=8000 \
 bytez/succinctly_text2image-prompt-generator

推理示例

发送POST请求获取提示词：

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "Once upon a time there was a ",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

设置"stream": true可接收流式响应。

环境变量

• DEVICE: 指定运行设备，可选值为auto（默认，自动选择GPU/CPU）、cuda（强制GPU）、cpu（强制CPU）。

模型参数

长度控制

• max_length: 生成序列的最大长度（默认20）。
• max_new_tokens: 新增tokens的最大数量（忽略提示词长度）。
• min_length: 生成序列的最小长度（默认0）。
• min_new_tokens: 新增tokens的最小数量（忽略提示词长度）。

生成策略

• do_sample: 是否启用采样（默认False，使用贪心解码）。
• num_beams: Beam搜索的beam数量（默认1）。
• use_cache: 是否启用缓存加速解码（默认True）。

其他参数

温度、top_k、top_p等更多参数可参考https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py。 ===END===