natecompiles/vllm Docker Image
natecompiles查看中文加速指南
为无法使用最新CUDA工具包的系统提供预编译的vLLM Docker镜像，支持基于分页注意力机制的高吞吐量LLM服务，当前针对CUDA 12.4版本。
下载次数: 0状态：社区镜像维护者：natecompiles仓库类型：镜像最近更新：1 年前
vLLM compiled for older CUDA versions
This repository provides vLLM images compiled to work with older NVIDIA CUDA versions.
Description
This project aims to provide pre-compiled vLLM Docker images for systems that can't use the latest CUDA toolkits. Currently, the repository offers images specifically compiled for CUDA 12.4.
vLLM is a high-throughput, easy-to-use LLM serving engine that leverages paged attention to achieve significantly higher throughput than traditional serving methods.
更多相关 Docker 镜像与资源
以下是 natecompiles/vllm 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull natecompiles/vllm:<标签>
