modular/max-amd-base

max-amd-base

max-amd-base容器通过MAX框架在AMD GPU上提供高性能推理，完全支持ROCm。它为在AMD硬件上运行大语言模型（LLM）提供了即用型环境，性能经过优化。

该MAX容器兼容OpenAI API规范，并针对GPU部署进行了优化。有关容器内容和硬件兼容性的详细信息，请参阅MAX文档中的https://docs.modular.com/max/container/。

核心功能和特性

• 基于MAX框架，针对AMD GPU进行性能优化
• 完全支持ROCm生态系统
• 兼容OpenAI API规范，易于集成现有应用
• 提供即用型环境，无需复杂配置
• 支持多种模型格式，包括MAX模型和PyTorch模型

使用场景和适用范围

• 在AMD MI200/MI300系列GPU上部署生成式AI模型
• 运行Hugging Face托管的LLM和PyTorch模型
• 需要高性能GPU推理的AI应用开发和部署
• 符合OpenAI API规范的服务构建

快速开始

使用最新的MAX基础容器（AMD版）在AMD GPU上运行LLM，命令如下：

bash
docker run \
    --group-add docker.xuanyuan.run/keep-groups \
    --rm \
    --env "HF_TOKEN=$HF_TOKEN" \
    -p 8000:8000 \
    --device /dev/kfd \
    --device /dev/dri \
    modular/max-amd-base:latest \
    --model-path <模型提供者/模型ID>

您可以通过引用HuggingFace模型ID来运行https://builds.modular.com/?category=models&type=MAX+Model。例如：https://builds.modular.com/models/gemma-3-it/1B。

您还可以使用MAX容器运行Hugging Face上托管的各种https://builds.modular.com/?category=models&type=PyTorch，例如：https://builds.modular.com/models/Phi-3.5-vision-instruct/5B。

有关使用MAX部署热门模型的更多信息，请参阅https://docs.modular.com/max/model-formats文档。

标签

支持的标签会更新到最新的MAX版本，包括最新的稳定版本和更多实验性的nightly版本。latest标签提供最新的稳定版本，nightly标签提供最新的nightly版本。

稳定版

• modular/max-amd-base:25.X

Nightly版

• modular/max-amd-base:25.X.0.devYYYYMMDD

文档

有关Modular及其产品的更多信息，请访问https://docs.modular.com/。

社区

要了解新版本动态，请https://www.modular.com/modverse#signup、https://www.modular.com/community并https://forum.modular.com/。

如果您有兴趣成为设计合作伙伴，以获得早期访问权限并提供反馈，请https://www.modular.com/company/contact。