langtechbsc/vllm-with-params Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

镜像概述与主要用途

本Docker镜像是基于vllm/vllm-openai修改的衍生版本，主要用于运行语言模型，支持通过自定义命令行参数灵活配置模型运行参数。镜像特别包含PARAMS参数，可便捷传递命令行参数，同时特定标签版本提供固定的工具解析器支持。

核心功能与特性

• 基于vllm/vllm-openai构建：继承原镜像的核心能力，专注于高效运行语言模型
• 支持PARAMS参数传递：可通过PARAMS参数将自定义命令行参数传递给容器内运行的程序
• 固定版本工具解析器：标签格式为x.y.z.1的镜像版本包含固定版本的hermes-tool-parser，需通过特定选项启用

使用场景

适用于需要自定义配置语言模型运行参数的场景，尤其是在需要稳定使用hermes-tool-parser工具解析器时，可通过指定标签版本和启用选项确保工具解析功能的一致性。

使用方法与配置说明

基本运行命令

运行镜像时需指定模型名称及其他必要参数，基本命令格式如下：

bash
docker run langtechbsc/vllm-with-params:0.6.3 -e PARAMS --model model_name --[other arguments]

参数说明

• model_name：需替换为实际使用的语言模型名称（如具体模型标识）
• [other arguments]：需替换为其他必要的命令行参数（根据模型运行需求配置）
• PARAMS：用于传递自定义命令行参数到容器内程序的环境变量

启用固定版本hermes-tool-parser

当使用标签格式为x.y.z.1的镜像版本时，可通过以下选项启用固定版本的hermes-tool-parser：

bash
--tool-call-parser hermes_fixed

使用注意事项

运行时需确保已将model_name和[other arguments]替换为符合实际需求的值，以保证模型正常启动和运行。