modular/max-full

MAX full container 镜像文档

镜像概述

max-full是基于Modular平台的Docker镜像，由MAX框架和Mojo编程语言提供支持。该镜像旨在帮助开发者加速模型服务，跨不同硬件架构扩展生成式AI（GenAI）部署，且无需修改任何代码。

MAX提供高性能、硬件无关的推理能力，支持主流开放模型，可在各云服务提供商和设备间无缝移植。max-full容器包含在NVIDIA和AMD GPU上部署大型语言模型（LLM）所需的所有核心依赖，提供集成环境，支持MAX模型、PyTorch（GPU）、ROCm、CUDA和cuDNN，确保在不同GPU类型上的最佳性能。适用于需要跨GPU厂商、开箱即用部署方案的场景。

该镜像兼容OpenAI API规范，并针对GPU部署进行了优化。有关容器内容和硬件兼容性的详细信息，请参阅MAX容器文档。

核心功能与特性

• 跨GPU支持：同时支持NVIDIA和AMD GPU，无需针对不同硬件修改部署配置
• 完整依赖集成：包含MAX模型、PyTorch（GPU版）、ROCm、CUDA和cuDNN等核心组件
• 高性能推理：针对GPU优化的推理能力，确保模型运行效率
• API兼容性：兼容OpenAI API规范，便于现有应用集成
• 无缝移植：跨云服务提供商和设备的一致部署体验
• 开箱即用：无需额外配置，简化部署流程

使用场景

• 需要在NVIDIA或AMD GPU上部署LLM的场景
• 跨不同硬件架构扩展GenAI服务的需求
• 希望避免针对不同GPU类型修改代码的开发工作流
• 需快速部署并验证模型性能的原型开发
• 要求兼容OpenAI API的应用集成

使用方法

前置要求

• 已安装Docker
• 对于NVIDIA GPU：需安装NVIDIA Docker运行时
• 对于AMD GPU：需安装ROCm驱动和相关依赖
• Hugging Face账号及访问令牌（HF_TOKEN）

AMD GPU部署示例

bash
docker run \
  # HuggingFace配置
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=$HF_TOKEN" \
  # AMD配置
  --group-add keep-groups \
  --rm \
  --device /dev/kfd \
  --device /dev/dri \
  # MAX配置
  -p 8000:8000 \
  modular/max-full:<version> \
  --model-path <model-provider/model-id>

有关AMD特定命令配置的更多信息，请参阅https://rocm.docs.amd.com/projects/install-on-linux/en/docs-6.1.1/how-to/docker.html#running-rocm-docker-containers%E3%80%82

NVIDIA GPU部署示例

bash
docker run \
  --gpus 1 \
  # HuggingFace配置
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env "HF_TOKEN=<secret>" \
  # MAX配置
  -p 8000:8000 \
  modular/max-full:<version> \
  --model-path <model-provider/model-id>

参数说明

• -v ~/.cache/huggingface:/root/.cache/huggingface：挂载Hugging Face缓存目录，避免重复下载模型
• --env "HF_TOKEN=<secret>"：设置Hugging Face访问令牌，用于访问私有或需要授权的模型
• -p 8000:8000：端口映射，将容器内8000端口映射到主机8000端口
• --model-path <model-provider/model-id>：指定模型路径，格式为Hugging Face模型ID

支持的模型类型

• MAX模型：可通过引用其HuggingFace模型ID运行，例如https://builds.modular.com/models/***-3-it/1B
• PyTorch模型：支持Hugging Face上托管的多种PyTorch模型，例如https://builds.modular.com/models/Phi-3.5-vision-instruct/5B

有关使用MAX部署主流模型的更多信息，请参阅https://docs.modular.com/max/model-formats%E3%80%82

标签说明

支持的标签会更新到最新的MAX版本，包括最新稳定版和实验性nightly版本：

• 稳定版：max-full:25.X（X为具体版本号）
• Nightly版：max-full:25.X.0.devYYYYMMDD（YYYYMMDD为构建日期）

latest标签指向最新稳定版，nightly标签指向最新nightly版本。

相关文档

• https://docs.modular.com/
• https://docs.modular.com/max/intro
• https://docs.modular.com/max/model-formats

社区资源

• https://www.modular.com/modverse#signup%EF%BC%9A%E8%8E%B7%E5%8F%96%E6%9C%80%E6%96%B0%E5%8F%91%E5%B8%83%E4%BF%A1%E6%81%AF
• https://forum.modular.com/%EF%BC%9A%E4%BA%A4%E6%B5%81%E4%BD%BF%E7%94%A8%E7%BB%8F%E9%AA%8C%E5%92%8C%E9%97%AE%E9%A2%98
• https://www.modular.com/community%EF%BC%9A%E8%8E%B7%E5%8F%96%E6%9B%B4%E5%A4%9A%E7%A4%BE%E5%8C%BA%E6%94%AF%E6%8C%81
• https://www.modular.com/company/contact%EF%BC%9A%E8%8E%B7%E5%8F%96%E6%97%A9%E6%9C%9F%E8%AE%BF%E9%97%AE%E6%9D%83%E9%99%90%E5%B9%B6%E6%8F%90%E4%BE%9B%E5%8F%8D%E9%A6%88