rahulunair/vllm

rahulunair/vllm — 适用于Intel XPU（Arc/Battlemage）的vLLM，多GPU问题已修复

基于上游https://github.com/vllm-project/vllm%E7%9A%84%60docker/Dockerfile.xpu%60%E6%9E%84%E5%BB%BA%EF%BC%8C%E4%B8%93%E9%97%A8%E9%92%88%E5%AF%B9**Intel%E7%8B%AC%E7%AB%8BGPU%EF%BC%88XPU%EF%BC%89**%EF%BC%8C%E9%80%9A%E8%BF%87%E4%B8%80%E8%A1%8C%E4%BE%9D%E8%B5%96%E5%9B%BA%E5%AE%9A%E8%A7%A3%E5%86%B3%E4%BA%86%E5%8F%8C**Arc Pro B70（Battlemage）** 主机上的多GPU（TP>1/DP>1）问题。

标签

当前xpu-latest摘要：sha256:9dd1fcd29c11666ca91c1dcf7a40e54f002828b0d88bb53d9c63ecaf5b6b8812。

镜像中的组件版本

问题与修复方案

之前的xpu-latest（摘要sha256:ff57252f…）包含compute-runtime版本25.48.36300.8。在该镜像上，任何多GPU模式（TP>1、DP>1）都会在XCCL预热all-reduce阶段崩溃，错误提示为2 MiB XPU内存溢出（OOM），但每张卡仍报告约30 GiB空闲内存。

根本原因为**https://github.com/intel/compute-runtime/issues/916**%EF%BC%9A%E6%8F%90%E4%BA%A4%607bb2d32%60%E5%B0%86Level Zero设备USM增长池设为默认（useUsmPoolManager=true）。当一个进程的L0上下文跨多个独立Battlemage GPU时，该池会失效。已知可用的compute-runtime版本为25.40.35563.4。

用于禁用该池的NEO调试键（NEO_EnableDeviceUsmAllocationPool=0）无效（上游issue已确认），且在25.48版本上重新测试的每rankZE_AFFINITY_MASK workaround无法通过跨rank all-reduce（UR_RESULT_ERROR_OUT_OF_DEVICE_MEMORY）——它会隐藏 peer GPU，导致oneCCL无法进行GPU端IPC。

本镜像修复方案：Dockerfile.xpu中的四个compute-runtime deb包固定为25.40.35563.4（IGC同步固定为v2.20.3）。这是完整修复——原生vLLM，无源码补丁，无每rank环境变量 hack。恢复了Intel正常的多GPU USM/IPC路径，无计算吞吐量开销。

从头重建（仅镜像，无其他上下文）

Docker镜像不包含其Dockerfile，以下是精确重现步骤。修复仅涉及NEO/IGC版本固定，其他均为上游内容。

bash
# 1. 获取镜像中内置的精确vLLM上游提交
git clone https://github.com/vllm-project/vllm.git
cd vllm && git checkout ff712f644709

# 2. 固定compute-runtime 25.40.35563.4 + IGC 2.20.3 — 替换docker/Dockerfile.xpu中
#    整个"# Install UMD"/"compute-runtime"的wget块，使用以下RUN命令（这是多GPU修复的全部内容）：
cat > /tmp/umd.txt <<'UMD'
RUN cd /tmp && \
    wget -q https://github.com/intel/intel-graphics-compiler/releases/download/v2.20.3/intel-igc-core-2_2.20.3+19972_amd64.deb && \
    wget -q https://github.com/intel/intel-graphics-compiler/releases/download/v2.20.3/intel-igc-opencl-2_2.20.3+19972_amd64.deb && \
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/intel-ocloc_25.40.35563.4-0_amd64.deb && \
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/intel-opencl-icd_25.40.35563.4-0_amd64.deb && \
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/libigdgmm12_22.8.2_amd64.deb && \
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/libze-intel-gpu1_25.40.35563.4-0_amd64.deb && \
    dpkg -i --force-all ./*.deb && rm -f ./*.deb
UMD
# （将/tmp/umd.txt内容替换上游UMD/compute-runtime的wget块）

# 3. 构建（需BuildKit — Dockerfile使用RUN --mount）
DOCKER_BUILDKIT=1 docker build -f docker/Dockerfile.xpu --shm-size=4g \
  -t rahulunair/vllm:xpu-latest -t rahulunair/vllm:xpu-ff712f644709 .

验证版本固定是否匹配镜像：docker run --rm --entrypoint bash rahulunair/vllm:xpu-latest -lc 'dpkg -l | grep -E "intel-opencl-icd|libze-intel-gpu1|intel-ocloc|intel-igc-core"' → 所有包版本应为25.40.35563.4-0 / 2.20.3。

运行时所需参数（Battlemage主机）

bash
--network=host \
--device /dev/dri:/dev/dri \
-v /dev/dri/by-path:/dev/dri/by-path \
--ipc=host --privileged \
-e SYCL_UR_USE_LEVEL_ZERO_V2=0 \
-e CCL_ZE_IPC_EXCHANGE=sockets \
-e VLLM_WORKER_MULTIPROC_METHOD=spawn

• SYCL_UR_USE_LEVEL_ZERO_V2=0 — 缺少此参数时torch.xpu.device_count()会因UR_RESULT_ERROR_UNKNOWN失败；旧版L0适配器可枚举两个B70。
• CCL_ZE_IPC_EXCHANGE=sockets — oneCCL节点内IPC句柄交换。
• -v /dev/dri/by-path:/dev/dri/by-path — oneCCL设备发现。

验证方法（小型模型，快速测试）

以下命令仅需本镜像即可运行（无需额外文件，无需主机克隆）。首次运行会下载facebook/opt-125m（约250 MB）——--network=host提供网络支持。已在双Arc Pro B70上验证。吞吐量数据见下文“测量吞吐量”；此处命令用于功能验证。

1. TP 1（单B70）

bash
docker run --rm --network=host --device /dev/dri:/dev/dri \
  -v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged \
  -e SYCL_UR_USE_LEVEL_ZERO_V2=0 -e CCL_ZE_IPC_EXCHANGE=sockets \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  --entrypoint vllm docker.xuanyuan.run/rahulunair/vllm:xpu-latest \
  bench throughput --model facebook/opt-125m \
  --num-prompts 8 --random-input-len 32 --random-output-len 16 \
  --dtype float16 --tensor-parallel-size 1 --max-model-len 256
# 成功：输出"Throughput: N requests/s, ..."并退出（返回码0）

2. TP 2（模型分片到两个B70 — 之前的故障模式；这是compute-runtime#916回归测试）

bash
docker run --rm --network=host --device /dev/dri:/dev/dri \
  -v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged \
  -e SYCL_UR_USE_LEVEL_ZERO_V2=0 -e CCL_ZE_IPC_EXCHANGE=sockets \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  --entrypoint vllm docker.xuanyuan.run/rahulunair/vllm:xpu-latest \
  bench throughput --model facebook/opt-125m \
  --num-prompts 8 --random-input-len 32 --random-output-len 16 \
  --dtype float16 --tensor-parallel-size 2 --max-model-len 256 \
  --distributed-executor-backend mp
# 成功：完成并输出Throughput行，返回码0，预热阶段无2 MiB OOM错误

3. DP 2 / TP 1（两个独立副本，每B70一个）— 服务模式

在XPU上，原生数据并行需--enforce-eager和--gpu-memory-utilization 0.9（无eager时，XPU图/编译路径会保留KV分析器无法找到的内存，导致误导性的No available memory for the cache blocks错误）。使用--network=host，服务器可直接通过主机8000端口访问（无需-p参数）：

bash
docker run --rm --network=host --device /dev/dri:/dev/dri \
  -v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged \
  -e SYCL_UR_USE_LEVEL_ZERO_V2=0 -e CCL_ZE_IPC_EXCHANGE=sockets \
  -e VLLM_WORKER_MULTIPROC_METHOD=spawn \
  docker.xuanyuan.run/rahulunair/vllm:xpu-latest \
  --model facebook/opt-125m --dtype float16 \
  --data-parallel-size 2 --tensor-parallel-size 1 \
  --max-model-len 256 --gpu-memory-utilization 0.9 --enforce-eager \
  --port 8000
# 当日志显示"Application startup complete"后，在另一个终端执行：
#   curl http://localhost:8000/v1/models
#   curl http://localhost:8000/v1/completions -H 'Content-Type: application/json' \
#     -d '{"model":"facebook/opt-125m","prompt":"hi","max_tokens":8}'

4. 可选 — 纯PyTorch XCCL探针（无需模型下载；隔离在回归运行时上失败的collective操作）

自包含脚本，在容器内编写：

bash
docker run --rm --network=host --device /dev/dri:/dev/dri \
  -v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged \
  -e SYCL_UR_USE_LEVEL_ZERO_V2=0 -e CCL_ZE_IPC_EXCHANGE=sockets \
  --entrypoint bash docker.xuanyuan.run/rahulunair/vllm:xpu-latest -lc 'cat > /tmp/p.py <<"PY"
import os,torch,torch.distributed as dist,torch.multiprocessing as mp
def w(r,ws):
    os.environ.update(RANK=str(r),LOCAL_RANK=str(r),WORLD_SIZE=str(ws),
                      MASTER_ADDR="127.0.0.1",MASTER_PORT="29560")
    torch.xpu.set_device(r)
    dist.init_process_group("xccl",rank=r,world_size=ws)
    t=torch.ones(8<<20,device=f"xpu:{r}"); dist.all_reduce(t)
    torch.xpu.synchronize(r)
    print(f"[rank {r}] 32MiB all_reduce OK sum0={t[0].item()} (expect {ws})",flush=True)
    dist.destroy_process_group()
if __name__=="__main__":
    ws=torch.xpu.device_count(); print("xpu_count",ws,flush=True)
    c=mp.get_context("spawn"); ps=[c.Process(target=w,args=(i,ws)) for i in range(ws)]
    [p.start() for p in ps]; [p.join() for p in ps]
    rc=sum(p.exitcode or 0 for p in ps); print("PROBE EXIT",rc,flush=True); raise SystemExit(rc)
PY
python /tmp/p.py'
# 成功：输出"xpu_count 2"、"32MiB all_reduce OK sum0=2.0"、"PROBE EXIT 0"

测量吞吐量（本镜像，双B70）

vllm bench serve测试vllm serve，模型facebook/opt-125m，数据集random，参数--random-input-len 32 --random-output-len 16 --num-prompts 32，--enforce-eager --gpu-memory-utilization 0.9。以下为小型模型的指示性数据，非调优基准测试。

离线vllm bench throughput（opt-125m，32 prompts，32/16）：TP1为5.55请求/秒 / 266令牌/秒，TP2为5.21请求/秒 / 250令牌/秒。（离线bench throughput不支持数据并行——使用bench serve测试DP。）

性能说明（如实说明）

版本固定无计算开销——恢复了Intel正常路径，非降级回退。

• TP 1：与单GPU相同。无性能回归。
• DP 2 / TP1：最佳扩展性。独立副本，跨GPU流量接近零——吞吐量随卡数接近线性扩展。在此设备上优先用于原始吞吐量。
• TP 2：通过正确的GPU端IPC collectives实现稳定运行，但Arc Pro B70无XeLink/P2P，因此每层all-reduce需通过PCIe↔主机。使用TP 2是为了在两张卡上容纳更大模型，而非线性加速。这是B70硬件特性，非修复导致的性能损失。

scripts/xccl_probe.py是独立的纯PyTorch回归探针；任何镜像或运行时变更后，应首先运行此探针检查。