kylinmountain/sglang Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

sglang-modelscope Docker镜像文档

镜像概述

本镜像基于sglang基础镜像构建，额外集成了modelscope包，提供默认支持modelscope功能的sglang运行环境。旨在简化需要同时使用sglang和modelscope的开发与部署流程，无需手动安装配置modelscope依赖。

核心功能与特性

• 集成modelscope包：已预装modelscope及其依赖，可直接调用modelscope相关功能
• 默认支持：无需额外配置，开箱即可使用sglang结合modelscope的功能
• 与sglang兼容：保留sglang原有功能和特性，确保基础功能不受影响

使用场景

• 需要使用sglang框架同时调用modelscope模型或工具的开发环境
• 快速部署依赖sglang和modelscope的应用服务
• 模型推理、自然语言处理等需要sglang与modelscope协同工作的场景

使用方法

基本使用

通过以下命令启动容器：

docker
docker run -it --rm [镜像名称]

挂载数据卷（可选）

如需持久化数据或加载本地模型，可挂载数据卷：

docker
docker run -it --rm -v /本地路径:/容器内路径 [镜像名称]

运行示例

启动容器后，可直接在命令行中使用sglang结合modelscope的功能，例如：

bash
# 在容器内执行sglang命令，调用modelscope相关功能
sglang run --model modelscope://模型名称 ...

注意事项

• 确保Docker环境已正确安装并运行
• 根据实际需求配置容器资源（如CPU、内存、GPU等）
• 如需使用特定版本的modelscope，可通过容器内pip命令进行版本调整