arrichm/sglang Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

sglang flashinfer模式Docker镜像

镜像概述

本镜像提供以flashinfer模式运行sglang的环境，支持在容器启动阶段自动加载模型文件，为sglang应用提供高效的运行环境。

核心功能和特性

• flashinfer模式支持：优化sglang运行性能，提升推理效率
• 启动时模型加载：容器启动过程中自动加载指定模型文件，简化部署流程

使用场景

适用于需要高效运行sglang的AI推理场景，如自然语言处理服务、大语言模型部署等需要快速加载模型并进行高效推理的应用场景。

使用方法

基本运行命令

bash
docker run -v /本地模型文件路径:/models [镜像名称]

参数说明

• -v /本地模型文件路径:/models：将本地模型文件目录挂载到容器内的/models目录，供sglang启动时加载模型

注意事项

• 确保本地模型文件路径正确且容器有权限访问
• 根据模型大小和推理需求，适当配置容器的CPU、内存及GPU资源（如需要GPU支持，需使用--gpus参数）