GPUSTACK 是一款专注于 GPU 集群管理的中间件,旨在简化大语言模型(LLMs)及其他 GPU 密集型应用的部署与运行流程。通过统一的集群管理接口,GPUSTACK 能够高效调度 GPU 资源、优化任务分配,并提供监控与运维支持,适用于 AI 实验室、企业级 AI 平台等场景。
NVIDIA 官方在 Docker Hub 发布的容器镜像集合,涵盖 CUDA 运行时与开发环境、Kubernetes GPU 设备插件、数据中心 GPU 监控(DCGM)等,适合在宿主机已安装 NVIDIA 驱动的环境下构建与运行 GPU 加速应用。
围绕 Ollama 生态的容器镜像集合,覆盖官方 Ollama 镜像以及针对不同硬件平台(NVIDIA GPU、Jetson、Intel GPU、Ampere CPU、摩尔线程 GPU 等)的优化版本,适合在本地或自托管环境中部署大语言模型服务。