langtechbsc/vllm-with-params

镜像概述与主要用途

本Docker镜像是基于https://hub.docker.com/r/vllm/vllm-openai/tags%E4%BF%AE%E6%94%B9%E7%9A%84%E8%A1%8D%E7%94%9F%E7%89%88%E6%9C%AC%EF%BC%8C%E4%B8%BB%E8%A6%81%E7%94%A8%E4%BA%8E%E8%BF%90%E8%A1%8C%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%8C%E6%94%AF%E6%8C%81%E9%80%9A%E8%BF%87%E8%87%AA%E5%AE%9A%E4%B9%89%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0%E7%81%B5%E6%B4%BB%E9%85%8D%E7%BD%AE%E6%A8%A1%E5%9E%8B%E8%BF%90%E8%A1%8C%E5%8F%82%E6%95%B0%E3%80%82%E9%95%9C%E5%83%8F%E7%89%B9%E5%88%AB%E5%8C%85%E5%90%ABPARAMS%E5%8F%82%E6%95%B0%EF%BC%8C%E5%8F%AF%E4%BE%BF%E6%8D%B7%E4%BC%A0%E9%80%92%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0%EF%BC%8C%E5%90%8C%E6%97%B6%E7%89%B9%E5%AE%9A%E6%A0%87%E7%AD%BE%E7%89%88%E6%9C%AC%E6%8F%90%E4%BE%9B%E5%9B%BA%E5%AE%9A%E7%9A%84%E5%B7%A5%E5%85%B7%E8%A7%A3%E6%9E%90%E5%99%A8%E6%94%AF%E6%8C%81%E3%80%82

核心功能与特性

• 基于vllm/vllm-openai构建：继承原镜像的核心能力，专注于高效运行语言模型
• 支持PARAMS参数传递：可通过PARAMS参数将自定义命令行参数传递给容器内运行的程序
• 固定版本工具解析器：标签格式为x.y.z.1的镜像版本包含固定版本的hermes-tool-parser，需通过特定选项启用

使用场景

适用于需要自定义配置语言模型运行参数的场景，尤其是在需要稳定使用hermes-tool-parser工具解析器时，可通过指定标签版本和启用选项确保工具解析功能的一致性。

使用方法与配置说明

基本运行命令

运行镜像时需指定模型名称及其他必要参数，基本命令格式如下：

bash
docker run langtechbsc/vllm-with-params:0.6.3 -e PARAMS --model model_name --[other arguments]

参数说明

• model_name：需替换为实际使用的语言模型名称（如具体模型标识）
• [other arguments]：需替换为其他必要的命令行参数（根据模型运行需求配置）
• PARAMS：用于传递自定义命令行参数到容器内程序的环境变量

启用固定版本hermes-tool-parser

当使用标签格式为x.y.z.1的镜像版本时，可通过以下选项启用固定版本的hermes-tool-parser：

bash
--tool-call-parser hermes_fixed

使用注意事项

运行时需确保已将model_name和[other arguments]替换为符合实际需求的值，以保证模型正常启动和运行。