rahulunair/sglang

rahulunair/sglang — 适用于Intel XPU（Arc/Battlemage）的SGLang，修复多GPU问题

基于上游docker/xpu.Dockerfile构建的https://github.com/sgl-project/sglang%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8%EF%BC%8C%E9%92%88%E5%AF%B9**Intel%E7%8B%AC%E7%AB%8BGPU%EF%BC%88XPU%EF%BC%89**%E4%BC%98%E5%8C%96%EF%BC%8C%E9%80%9A%E8%BF%87%E5%9B%BA%E5%AE%9A%E4%BE%9D%E8%B5%96%E7%89%88%E6%9C%AC%E8%A7%A3%E5%86%B3%E4%BA%86%E5%8F%8C**Arc Pro B70（Battlemage）**主机上的多GPU（TP>1/DP>1）运行问题。

已从rahulunair/sglang-xpu重命名，遵循rahulunair/vllm规范：仓库rahulunair/sglang，标签xpu-<...>。rahulunair/sglang-xpu已冻结不再更新。

标签

组件版本

问题与修复

上游镜像未固定compute-runtime版本，导致25.48.x版本下多GPU模式崩溃（错误报告内存不足但实际空闲）。根本原因是Intel compute-runtime的USM池默认设置问题，修复方式为固定compute-runtime到25.40.35563.4及对应IGC版本，无需修改源码或额外环境变量。

重建步骤

bash
# 1. 拉取SGLang源码
git clone https://github.com/sgl-project/sglang.git && cd sglang

# 2. 插入固定版本的RUN指令
python3 - <<'PY'
f="docker/xpu.Dockerfile"; s=open(f).read()
anchor="    rm -rf /var/lib/apt/lists/*\n"
pin='''
RUN cd /tmp && \\
    wget -q https://github.com/intel/intel-graphics-compiler/releases/download/v2.20.3/intel-igc-core-2_2.20.3+19972_amd64.deb && \\
    wget -q https://github.com/intel/intel-graphics-compiler/releases/download/v2.20.3/intel-igc-opencl-2_2.20.3+19972_amd64.deb && \\
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/intel-ocloc_25.40.35563.4-0_amd64.deb && \\
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/intel-opencl-icd_25.40.35563.4-0_amd64.deb && \\
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/libigdgmm12_22.8.2_amd64.deb && \\
    wget -q https://github.com/intel/compute-runtime/releases/download/25.40.35563.4/libze-intel-gpu1_25.40.35563.4-0_amd64.deb && \\
    dpkg -i --force-all ./*.deb && rm -f ./*.deb
'''
open(f,"w").write(s.replace(anchor, anchor+pin,1))
PY

# 3. 构建镜像
: > /tmp/gh_token_empty
DOCKER_BUILDKIT=1 docker build -f docker/xpu.Dockerfile --shm-size=4g \
  --secret id=github_token,src=/tmp/gh_token_empty \
  -t rahulunair/sglang:xpu-latest -t rahulunair/sglang:xpu-46e0f5007 .

运行参数

bash
# 容器启动参数
--network=host --device /dev/dri:/dev/dri \
-v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged

# 容器内激活环境
. /home/sdp/miniforge3/bin/activate && conda activate py3.12
source /opt/intel/oneapi/setvars.sh --force >/dev/null
export SYCL_UR_USE_LEVEL_ZERO_V2=0 CCL_ZE_IPC_EXCHANGE=sockets

验证示例（Qwen3-0.6B）

TP1模式：

bash
docker run --rm --network=host --device /dev/dri:/dev/dri \
  -v /dev/dri/by-path:/dev/dri/by-path --ipc=host --privileged \
  --entrypoint bash docker.xuanyuan.run/rahulunair/sglang:xpu-latest -lc '
  . /home/sdp/miniforge3/bin/activate && conda activate py3.12 &&
  source /opt/intel/oneapi/setvars.sh --force >/dev/null &&
  export SYCL_UR_USE_LEVEL_ZERO_V2=0 CCL_ZE_IPC_EXCHANGE=sockets &&
  python -m sglang.bench_one_batch --model-path Qwen/Qwen3-0.6B --trust-remote-code \
    --device xpu --attention-backend intel_xpu --disable-overlap-schedule \
    --tp 1 --batch-size 8 --input-len32 --output-len16 --page-size64'

TP2模式：将上述--tp1改为--tp2即可验证多卡修复效果。

吞吐量参考（双B70）

注：Arc Pro B70无P2P，TP2延迟较高，建议大模型用TP，小模型用DP。

源码与构建说明

基于SGLang上游源码构建，仅添加固定依赖版本的修复。SGLang相关问题请向上游反馈，本镜像仅负责打包修复版本。