热门搜索:
架构筛选
voipmonitor/sglang
voipmonitor
针对RTX PRO 6000 Blackwell (SM120a) GPU优化的SGLang推理栈，基于Ubuntu 24.04和CUDA 13.2.0，集成PyTorch nightly、FlashInfer和b12x，支持NVFP4精度，提供高性能大语言模型推理能力。
5.5千+ 次下载10 天前更新
voipmonitor/vllm
voipmonitor
针对RTX PRO 6000 Blackwell (SM120a)的vLLM推理栈，基于CUDA 13.2构建，包含Ubuntu 24.04、PyTorch nightly、vLLM、FlashInfer、SGLang等组件，修复了nvidia-cutlass-dsl的NVVM/ptxas版本冲突问题，适用于高性能LLM推理任务。
1.9千+ 次下载11 天前更新
voipmonitor/vllm-openai
voipmonitor
暂无描述
232 次下载2 个月前更新
omnivigil/voipmonitor-php
omnivigil
暂无描述
1万+ 次下载10 天前更新
repne/vllm
repne
vLLM for RTX 6000. github.com/voipmonitor/blackwell-llm-docker + github.com/repne/vllm
0 次下载11 天前更新
第 1 页