本站支持搜索的镜像仓库:Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com

本Docker镜像是基于vllm/vllm-openai修改的衍生版本,主要用于运行语言模型,支持通过自定义命令行参数灵活配置模型运行参数。镜像特别包含PARAMS参数,可便捷传递命令行参数,同时特定标签版本提供固定的工具解析器支持。
适用于需要自定义配置语言模型运行参数的场景,尤其是在需要稳定使用hermes-tool-parser工具解析器时,可通过指定标签版本和启用选项确保工具解析功能的一致性。
运行镜像时需指定模型名称及其他必要参数,基本命令格式如下:
docker run langtechbsc/vllm-with-params:0.6.3 -e PARAMS --model model_name --[other arguments]
model_name:需替换为实际使用的语言模型名称(如具体模型标识)[other arguments]:需替换为其他必要的命令行参数(根据模型运行需求配置)PARAMS:用于传递自定义命令行参数到容器内程序的环境变量当使用标签格式为x.y.z.1的镜像版本时,可通过以下选项启用固定版本的hermes-tool-parser:
--tool-call-parser hermes_fixed
运行时需确保已将model_name和[other arguments]替换为符合实际需求的值,以保证模型正常启动和运行。
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录方式配置轩辕镜像加速服务,包含7个详细步骤
在 Linux 系统上配置轩辕镜像源,支持主流发行版
在 Docker Desktop 中配置轩辕镜像加速,适用于桌面系统
在 Docker Compose 中使用轩辕镜像加速,支持容器编排
在 k8s 中配置 containerd 使用轩辕镜像加速
在宝塔面板中配置轩辕镜像加速,提升服务器管理效率
在 Synology 群晖NAS系统中配置轩辕镜像加速
在飞牛fnOS系统中配置轩辕镜像加速
在极空间NAS中配置轩辕镜像加速
在爱快ikuai系统中配置轩辕镜像加速
在绿联NAS系统中配置轩辕镜像加速
在威联通NAS系统中配置轩辕镜像加速
在 Podman 中配置轩辕镜像加速,支持多系统
配置轩辕镜像加速9大主流镜像仓库,包含详细配置步骤
无需登录即可使用轩辕镜像加速服务,更加便捷高效
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429