lisp19/vllm-gemma4
lisp19
vllm的分支版本，专门优化以更好地在Turing架构上与Gemma4模型协同工作。
下载次数: 0状态：社区镜像维护者：lisp19仓库类型：镜像最近更新：8 天前
vllm-Gemma4-Turing优化镜像
镜像概述
本镜像基于vllm项目的分支版本构建，针对Gemma4模型在Turing架构（如NVIDIA Turing系列GPU，包括RTX 20系列、T4等）上的运行进行了专门优化，旨在提升模型兼容性和推理性能。
核心功能与特性
- Gemma4模型适配：针对Gemma4模型的架构特性进行定制化调整，优化模型加载与推理流程
- Turing架构优化：针对Turing GPU的计算特性（如Tensor Cores、显存带宽等）进行性能调优
- vllm核心能力保留：继承vllm的高效推理引擎，支持PagedAttention等关键技术
使用场景
适用于需要在Turing架构GPU上部署Gemma4模型的场景，包括但不限于：
- 低延迟文本生成服务
- 本地模型推理测试环境
- 教育科研中的模型实验平台
使用方法
基础运行命令
bashdocker run -it --gpus all \ -v /path/to/gemma4-model:/model \ -p 8000:8000 \ [镜像名称] \ --model /model \ --device cuda:0 \ --port 8000
参数说明
--model：指定Gemma4模型文件路径（容器内路径）--device：指定使用的GPU设备（如cuda:0表示第一块GPU）--port：设置API服务端口
环境变量
目前镜像未定义特殊环境变量，主要通过启动参数进行配置。
注意事项
- 确保主机已安装NVIDIA Docker运行时（nvidia-docker2）
- 建议使用至少16GB显存的Turing架构GPU以获得最佳性能
- 模型文件需自行准备并通过卷挂载到容器中
vllm/vllm-openai
vLLM 高性能推理与服务镜像
vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
271 次收藏1000万+ 次下载
3 天前更新
vllm/vllm-tpu
vLLM 高性能推理与服务镜像
vLLM框架在TPU上运行的Docker镜像仓库
3 次收藏10万+ 次下载
3 天前更新
vllm/vllm-omni
vLLM 高性能推理与服务镜像
暂无描述
7 次收藏1万+ 次下载
18 天前更新
vllm/vllm-openai-rocm
vLLM 高性能推理与服务镜像
暂无描述
3 次收藏1万+ 次下载
3 天前更新
vllm/vllm-openai-cpu
vLLM 高性能推理与服务镜像
暂无描述
8.4千+ 次下载
14 天前更新
vllm/vllm-router
vLLM 高性能推理与服务镜像
暂无描述
4.1千+ 次下载
3 天前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"