mitakad/vllm

vLLM分布式推理镜像（Jetson Orin AGX）

镜像概述

本镜像基于Jetson Orin AGX（SM 87）构建，提供vLLM分布式大语言模型（LLM）推理能力，由https://github.com/dusty-nv/jetson-containers%E9%A1%B9%E7%9B%AE%E5%BC%80%E5%8F%91%E7%BB%B4%E6%8A%A4%E3%80%82%E6%94%AF%E6%8C%81%E5%A4%9A%E8%8A%82%E7%82%B9%E9%83%A8%E7%BD%B2%E5%8F%8A%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E9%85%8D%E7%BD%AE%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E8%BE%B9%E7%BC%98%E8%AE%BE%E5%A4%87%E4%B8%8A%E7%9A%84%E5%A4%A7%E8%A7%84%E6%A8%A1LLM%E6%8E%A8%E7%90%86%E5%9C%BA%E6%99%AF%E3%80%82

核心功能与特性

• 分布式推理支持：实现多节点LLM推理，参考vLLM多节点配置文档
• 硬件优化：针对Jetson Orin AGX（SM 87）架构优化，充分利用设备计算能力
• EAGLE-3加速：集成EAGLE-3推测解码技术，提升推理速度
• 性能可调：支持GPU内存利用率、KV缓存大小等参数配置
• 问题修复：提供环境变量调整选项解决特定版本性能问题

使用场景与适用范围

适用于需要在Jetson设备上进行分布式LLM推理的场景，如边缘AI计算、智能设备本地推理等。已在2台Jetson AGX Orin开发套件上测试验证。

使用方法与配置说明

注意事项

• vLLM v0.15.0性能问题：若出现性能下降，检查日志中是否使用TRITON_MLA注意力后端。禁用MLA可解决该问题，设置环境变量：VLLM_MLALA_DISABLE=1，示例：VLLM_MLA_DISABLE=1 vllm serve ...

基本使用

详细使用方法参考项目文档：https://github.com/dusty-nv/jetson-containers/blob/213ecc5b8db55ad10b875f5afb61569470f3541d/docs/distributed-inference.md

多节点分布式推理

配置方式遵循vLLM官方多节点部署指南，实现跨设备的模型并行与张量并行。

EAGLE-3推测解码示例

使用EAGLE-3推测解码加速推理，示例命令：

bash
vllm serve RedHatAI/Qwen3-8B-quantized.w4a16 \
  --port 8000 \
  --gpu-memory-utilization 0.6 \
  --kv-cache-memory-bytes 5G \
  --max-model-len 2048 \
  --speculative-config '{
    "model": "RedHatAI/Qwen3-8B-speculator.eagle3",
    "num_speculative_tokens": 3,
    "method": "eagle3"
  }'

关键配置参数说明

环境变量

• VLLM_MLA_DISABLE：设置为1禁用MLA注意力后端，解决v0.15.0版本性能问题

参考文档

• vLLM官方文档：[***]
• EAGLE-3推测解码教程：Jetson AI Lab教程