轩辕镜像 官方专业版
轩辕镜像
专业版
轩辕镜像 官方专业版
轩辕镜像
专业版
首页个人中心搜索镜像
交易
充值流量¥7起我的订单
文档
工具
提交工单页面收录

标签:vllm-docker-nvidia

VLLM Docker 容器化部署指南:在 NVIDIA Jetson 平台高效运行大语言模型推理服务

VLLM Docker 容器化部署指南:在 NVIDIA Jetson 平台高效运行大语言模型推理服务

VLLM是一个高效的开源大语言模型(LLM)推理服务框架,通过创新的PagedAttention技术实现高吞吐量和低延迟的推理性能。本文介绍的`dustynv/vllm`镜像是针对NVIDIA Jetson平台优化的容器化版本,由[dustynv/jetson-containers](https://github.com/dustynv/jetson-containers)项目构建,专为边缘计算场景设计,支持在资源受限的嵌入式设备上部署高性能LLM推理服务。

2025/12/2·Docker部署教程·469 次阅读
vllm-docker-nvidiadocker

共 1 篇文章

轩辕镜像
轩辕镜像技术博客
...
标签:vllm-docker-nvidia
定价查看流量套餐与价格
博客Docker 镜像公告与技术博客
专业版 · 高速稳定拉取镜像
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
50GB 仅 ¥7/年
专业版 · 高速稳定拉取镜像
50GB 仅 ¥7/年
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
用户协议·隐私政策·增值电信业务经营许可证:浙B2-20261007·©2024-2026 源码跳动©2024-2026 杭州源码跳动科技有限公司·商务合作:点击复制邮箱