第 1 页
相关博客
VLLM Docker 容器化部署指南：在 NVIDIA Jetson 平台高效运行大语言模型推理服务
VLLM是一个高效的开源大语言模型（LLM）推理服务框架，通过创新的PagedAttention技术实现高吞吐量和低延迟的推理性能。本文介绍的`dustynv/vllm`镜像是针对NVIDIA Jetson平台优化的容器化版本，由[dustynv/jetson-containers](https://github.com/dustynv/jetson-containers)项目构建，专为边缘计算场景设计，支持在资源受限的嵌入式设备上部署高性能LLM推理服务。
Docker,VLLM2025/12/2
GPUSTACK Docker 容器化部署指南（生产级规范与最佳实践）
GPUSTACK 是一款专注于 GPU 集群管理的中间件，旨在简化大语言模型（LLMs）及其他 GPU 密集型应用的部署与运行流程。通过统一的集群管理接口，GPUSTACK 能够高效调度 GPU 资源、优化任务分配，并提供监控与运维支持，适用于 AI 实验室、企业级 AI 平台等场景。
Docker,GPUSTACK2025/11/19
NVIDIA CUDA 镜像 Docker 容器化部署全流程
CPU 像“全能但慢的多面手”，适合处理逻辑复杂但数据量小的任务；GPU 像“成千上万的小工人”，擅长同时处理大量重复、简单的计算。CUDA 就是连接开发者与 GPU 能力的“桥梁”，让 GPU 能脱离显卡驱动，直接为科学计算、AI 训练、数据处理等任务服务。
Docker,CUDA2025/10/10