bytez/eleutherai_pythia-1b

镜像概述

本镜像封装了EleutherAI的pythia-1b文本生成模型，专注于文本生成任务。支持本地部署、GPU加速及模型权重缓存，提供丰富的生成参数配置，满足不同场景下的文本创作需求。

核心功能

1. 本地部署：通过Docker快速启动模型服务，无需依赖外部平台，保障数据隐私。
2. 灵活参数：支持长度控制、生成策略、logits操纵等多维度参数调整，适配多样化需求。
3. GPU加速：兼容Nvidia GPU，显著提升推理效率。
4. 权重缓存：本地存储模型权重，避免重复下载，节省时间成本。
5. 流式响应：支持流式返回生成结果，适用于实时交互场景。

使用场景

• 文本续写与创意内容生成
• 对话系统原型开发与测试
• 教育研究中的文本生成实验
• 个性化内容辅助创作工具

配置说明

环境变量

• KEY：Bytez API密钥（需从Bytez平台注册获取）。
• PORT：服务端口，默认8000。
• DEVICE：运行设备，可选"auto"（默认，自动适配GPU/CPU）、"cuda"（强制GPU）或"cpu"（强制CPU）。
• HF_HOME：模型权重缓存目录（需配合-v挂载本地目录使用）。

部署示例

1. 拉取镜像

bash
docker pull docker.xuanyuan.run/bytez/eleutherai_pythia-1b

2. 基础启动（CPU）

bash
docker run -it \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -e PORT=8000 \
 -p 8000:8000 \
 docker.xuanyuan.run/bytez/eleutherai_pythia-1b

3. GPU加速启动

bash
docker run -it \
 --gpus all \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -p 8000:8000 \
 -e PORT=8000 \
 docker.xuanyuan.run/bytez/eleutherai_pythia-1b

4. 权重缓存启动

bash
docker run -it \
 -v /本地缓存路径:/server/model \
 -e HF_HOME=/server/model \
 -e KEY=YOUR_BYTEZ_API_KEY_HERE \
 -p 8000:8000 \
 -e PORT=8000 \
 docker.xuanyuan.run/bytez/eleutherai_pythia-1b

推理请求示例

发送POST请求获取生成结果：

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "从前有一只",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 0.9
  }
}'

模型参数

支持的核心参数包括：

• 长度控制：max_new_tokens、min_length等。
• 生成策略：do_sample、num_beams等。
• logits操纵：temperature、top_k、top_p等。 完整参数列表可参考https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py。

本地部署模型可提供更高的隐私性与控制权，助力各类文本生成项目开发。 ===END===