vLLM是一款高性能大型语言模型服务库,适用于AMD gfx906系列显卡,例如镭龙VII(Radeon VII)、MI50及MI60等型号,能够为这些AMD显卡提供高效的大型语言模型部署与运行支持,助力用户在相关硬件平台上实现高性能的AI推理与服务。
收藏数: 6
下载次数: 17616
类型:

nalanzeyu/vllm-gfx906这是vLLM的一个修改版本,仅适配AMD gfx906架构的GPU,具体型号包括:Radeon VII、Radeon Pro VII、Instinct MI50、Instinct MI60。
使用方法及注意事项,请参考GitHub仓库:
[***]
以下是 nalanzeyu/vllm-gfx906 相关的常用 Docker 镜像,适用于 不同场景 等不同场景:
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 版本下载页面。



manifest unknown 错误
TLS 证书验证失败
DNS 解析超时
410 错误:版本过低
402 错误:流量耗尽
身份认证失败错误
429 限流错误
凭证保存错误
来自真实用户的反馈,见证轩辕镜像的优质服务