satendra/vllm-cpu

vLLM CPU镜像

镜像概述

vLLM CPU镜像是一个专为CPU环境设计的Docker镜像，用于运行Hugging Face模型。该镜像集成了vLLM框架，支持在无GPU的环境中部署和运行各类Hugging Face模型，提供高效的模型服务能力。

核心功能与特性

• CPU优化：专为CPU环境优化，无需GPU即可运行Hugging Face模型
• Hugging Face集成：支持直接从Hugging Face Hub加载模型，需配置访问令牌
• 跨架构支持：提供amd64和arm64两种架构标签，适配不同硬件环境
• 标准API接口：提供与OpenAI兼容的API接口，便于集成和使用

使用场景

• 开发测试环境中部署Hugging Face模型
• 低资源环境下运行轻量级NLP模型
• 需要CPU-only部署的应用场景
• 快速搭建模型服务原型

使用方法

基本部署命令

bash
docker run -d \
  --name vllm-server \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HUGGING_FACE_HUB_TOKEN=hf_***********" \
  -p 8000:8000 \
  satendra/vllm-cpu:amd64-v0.8.2 \
  --model sentence-transformers/LaBSE

参数说明：

• -d：后台运行容器
• --name vllm-server：指定容器名称为vllm-server
• -v ~/.cache/huggingface:/root/.cache/huggingface：挂载Hugging Face缓存目录，避免重复下载模型
• --env "HUGGING_FACE_HUB_TOKEN=hf_***********"：设置Hugging Face Hub访问令牌（需替换为实际令牌）
• -p 8000:8000：映射容器端口8000到主机端口8000
• satendra/vllm-cpu:amd64-v0.8.2：镜像名称及标签（amd64架构）
• --model sentence-transformers/LaBSE：指定要加载的Hugging Face模型

架构适配

• AMD64架构：使用标签 amd64-v0.8.2（适用于大多数Linux系统）
• ARM64架构：使用标签 arm64-v0.8.2（适用于MacOS系统）

MacOS系统部署

bash
docker run -d \
  --name vllm-server \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HUGGING_FACE_HUB_TOKEN=hf_***********" \
  -p 8000:8000 \
  satendra/vllm-cpu:arm64-v0.8.2 \
  --model sentence-transformers/LaBSE

测试方法

使用curl命令测试服务是否正常运行：

bash
curl -X 'POST' 'http://localhost:8000/v1/embeddings' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "sentence-transformers/LaBSE", 
    "input": "I like vLLM server"
  }'

成功响应将返回输入文本的嵌入向量结果。