bytez/eleutherai_gpt-neo-1.3b

镜像概述

本Docker镜像封装了EleutherAI/gpt-neo-1.3B模型，专注于文本生成任务。支持本地部署、GPU加速、模型权重缓存，可通过API接口调用，也可通过Bytez平台直接体验，每月提供100次免费推理credits。

核心功能

• 文本生成：基于GPT-Neo模型生成连贯自然的文本内容
• 多设备适配：自动识别CPU/GPU，支持强制指定运行设备
• 权重缓存：本地存储模型权重，避免重复下载节省时间
• 流式响应：支持逐token返回生成结果，提升交互体验
• 参数自定义：可调整生成长度、温度、top_p等参数优化输出

使用场景

• 开发者本地测试文本生成模型
• 隐私敏感场景下的本地文本生成应用
• 自定义参数调优的文本创作任务
• 集成到应用中提供文本生成API服务

配置说明

环境变量

• KEY：Bytez平台API密钥（需注册获取）
• PORT：容器监听端口（默认8000）
• DEVICE：运行设备（可选值：auto/cuda/cpu，默认auto）
• HF_HOME：模型权重缓存目录（配合-v挂载本地目录使用）

模型参数

长度控制

• max_length：生成文本的最大长度（默认20）
• max_new_tokens：新增tokens的最大数量（忽略prompt长度）
• min_length：生成文本的最小长度（默认0）
• early_stopping：是否提前停止生成（默认False）

生成策略

• do_sample：是否使用采样（默认False）
• num_beams：beam search的beam数量（默认1）
• use_cache：是否使用缓存加速解码（默认True）

Logits操作

• temperature：调整生成多样性（默认1.0）
• top_k：保留最高概率的k个token（默认50）
• top_p：保留概率和≥top_p的token（默认1.0）
• repetition_penalty：重复惩罚系数（默认1.0）

更多参数详见https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py

部署示例

1. 拉取镜像

bash
docker pull docker.xuanyuan.run/bytez/eleutherai_gpt-neo-1.3b

2. CPU运行容器

bash
docker run -it \
 -e KEY=你的Bytez_API密钥 \
 -e PORT=8000 \
 -p 8000:8000 \
 docker.xuanyuan.run/bytez/eleutherai_gpt-neo-1.3b

3. GPU运行容器（需安装Nvidia驱动和CUDA）

bash
docker run -it \
 --gpus all \
 -e KEY=你的Bytez_API密钥 \
 -p 8000:8000 \  
 -e PORT=8000 \
 docker.xuanyuan.run/bytez/eleutherai_gpt-neo-1.3b

4. 带权重缓存的运行

bash
docker run -it \
 -v /本地缓存目录:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=你的Bytez_API密钥 \
 -p 8000:8000 \
 -e PORT=8000 \
 docker.xuanyuan.run/bytez/eleutherai_gpt-neo-1.3b

5. 发送推理请求

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "从前有一只",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

设置"stream": true可获取流式响应。

支持与帮助

• 加入Bytez ***获取实时支持
• 发送邮件至***咨询问题

本地部署模型可增强隐私性、控制力和自定义能力，祝您开发顺利！