bytez/microsoft_phi-1

bytez/microsoft_phi-1 镜像说明

镜像概述

本镜像基于Microsoft Phi-1文本生成模型构建，提供便捷的本地部署方案，支持通过API接口进行文本生成推理。用户可快速搭建服务，满足各类自然语言生成需求，同时支持灵活的配置与设备优化。

核心功能

1. 文本生成: 基于Phi-1模型生成连贯、上下文相关的文本内容，适用于故事创作、代码片段生成等场景。
2. 多设备适配: 支持CPU、GPU运行，可通过环境变量指定设备类型（auto/cuda/cpu）。
3. 本地权重缓存: 允许挂载本地目录保存模型权重，减少重复下载时间，提升部署效率。
4. 参数可配置: 提供丰富的生成参数（如max_new_tokens、temperature、top_p等），可根据需求调整生成结果的长度、随机性等。

使用场景

• 内容创作辅助：生成文章、故事、对话等文本内容。
• 代码开发支持：生成简单代码片段或注释。
• 教育与研究：用于自然语言生成相关的学习和实验。
• 个性化服务：构建聊天机器人、智能问答系统等应用。

配置说明

前提条件

1. 已安装Docker环境。
2. 获取Bytez API Key（需访问Bytez官网注册并获取）。

部署步骤

1. 拉取镜像

bash
docker pull docker.xuanyuan.run/bytez/microsoft_phi-1

2. 基础启动（CPU模式）

bash
docker run -it \
  -e KEY=你的Bytez_API_KEY \
  -e PORT=8000 \
  -p 8000:8000 \
  docker.xuanyuan.run/bytez/microsoft_phi-1

3. 带本地缓存启动

挂载本地目录保存模型权重，避免重复下载：

bash
docker run -it \
  -v /本地缓存目录路径:/server/model \
  -e HF_HOME=/server/model \
  -e KEY=你的Bytez_API_KEY \
  -p 8000:8000 \
  -e PORT=8000 \
  docker.xuanyuan.run/bytez/microsoft_phi-1

4. GPU加速启动

需先安装NVIDIA驱动与CUDA，添加--gpus all参数：

bash
docker run -it \
  --gpus all \
  -e KEY=你的Bytez_API_KEY \
  -p 8000:8000 \
  -e PORT=8000 \
  docker.xuanyuan.run/bytez/microsoft_phi-1

推理调用示例

发送POST请求到容器接口生成文本：

bash
curl --location 'http://0.0.0.0:8000/run' \
--header 'Content-Type: application/json' \
--data-raw '{
  "text": "很久很久以前，有一个",
  "stream": false,
  "params": {
    "max_new_tokens": 50,
    "temperature": 1.3,
    "top_p": 1.2
  }
}'

关键参数说明

• max_new_tokens: 生成的最大新token数量，控制文本长度。
• temperature: 调整生成随机性（值越高越随机，范围0~2）。
• top_p: 核采样阈值，仅保留概率和为top_p的token（范围0~1）。
• device: 指定运行设备，可选auto（自动检测）、cuda（GPU）、cpu（CPU）。

更多参数详情可参考https://github.com/huggingface/transformers/blob/v4.38.2/src/transformers/generation/configuration_utils.py。