vito974/vllm

vLLM — Zyphra Fork

镜像概述

快速且易用的大语言模型(LLM)推理服务器，基于https://github.com/vllm-project/vllm%E5%B9%B6%E5%BA%94%E7%94%A8%E4%BA%86Zyphra%E7%9A%84%E8%A1%A5%E4%B8%81%E3%80%82vLLM%E6%9C%80%E5%88%9D%E7%94%B1%E5%8A%A0%E5%B7%9E%E5%A4%A7%E5%AD%A6%E4%BC%AF%E5%85%8B%E5%88%A9%E5%88%86%E6%A0%A1%E5%BC%80%E5%8F%91%EF%BC%8C%E6%98%AF%E7%9B%AE%E5%89%8D%E6%9C%80%E6%B4%BB%E8%B7%83%E7%9A%84%E5%BC%80%E6%BA%90LLM%E6%9C%8D%E5%8A%A1%E9%A1%B9%E7%9B%AE%E4%B9%8B%E4%B8%80%EF%BC%8C%E6%8B%A5%E6%9C%892000+%E8%B4%A1%E7%8C%AE%E8%80%85%EF%BC%8C%E6%A0%B8%E5%BF%83%E4%BC%98%E5%8A%BF%E5%9C%A8%E4%BA%8E%E9%AB%98%E6%95%88%E7%9A%84%E6%8E%A8%E7%90%86%E6%80%A7%E8%83%BD%E5%92%8C%E4%B8%B0%E5%AF%8C%E7%9A%84%E5%8A%9F%E8%83%BD%E6%94%AF%E6%8C%81%E3%80%82

核心功能与特性

与官方镜像的区别

本镜像基于https://github.com/Zyphra/vllm%E6%9E%84%E5%BB%BA%EF%BC%8C%E9%A2%9D%E5%A4%96%E6%94%AF%E6%8C%81%E4%BB%A5%E4%B8%8B%E7%89%B9%E6%80%A7%EF%BC%9A

• --tool-call-parser zaya_xml — Zyphra的基于XML的工具调用解析器，适用于ZAYA模型
• Mamba/混合注意力-SSM模型支持（通过--mamba-cache-dtype参数）
• 完整继承上游vLLM功能，包括：
  • PagedAttention技术，优化内存使用
  • 连续批处理(Continuous Batching)，提升吞吐量
  • OpenAI兼容API，便于集成现有应用

使用场景

• 需要高效部署LLM模型的推理服务场景
• 使用Zyphra ZAYA系列模型进行推理的应用
• 需支持工具调用解析功能的LLM应用
• 需要运行Mamba或混合注意力-SSM架构模型的场景
• 对推理性能和资源利用率有较高要求的生产环境

使用方法与配置说明

快速启动

以下命令可快速启动基于Zyphra ZAYA1-8B模型的推理服务：

bash
docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8010:8010 \
  vito974/vllm:latest \
  Zyphra/ZAYA1-8B \
  --port 8010 \
  --mamba-cache-dtype float32 \
  --dtype bfloat16 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser zaya_xml

参数说明

• --runtime nvidia --gpus all：启用NVIDIA运行时并使用所有GPU资源
• -v ~/.cache/huggingface:/root/.cache/huggingface：挂载Hugging Face模型缓存目录，避免重复下载
• -p 8010:8010：端口映射，将容器内8010端口映射到主机8010端口
• vito974/vllm:latest：Docker镜像名称及标签
• Zyphra/ZAYA1-8B：要加载的模型名称（需从Hugging Face Hub获取）
• --port 8010：指定服务监听端口
• --mamba-cache-dtype float32：设置Mamba模型缓存数据类型
• --dtype bfloat16：设置模型推理数据类型
• --reasoning-parser qwen3：指定推理解析器
• --enable-auto-tool-choice：启用自动工具选择功能
• --tool-call-parser zaya_xml：使用Zyphra XML工具调用解析器

配置建议

• 根据模型大小和GPU资源调整--dtype参数（如float16、bfloat16或float32）
• 对于Mamba模型，建议明确设置--mamba-cache-dtype以优化性能
• 生产环境中可添加--api-key参数启用API密钥认证
• 如需使用自定义模型，可通过-v挂载本地模型目录并指定模型路径