hommayushi3/vllm-huggingface Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务
hommayushi3/vllm-huggingfacehommayushi3
与HuggingFace推理端点兼容的VLLM容器
下载次数: 0状态：社区镜像维护者：hommayushi3仓库类型：镜像最近更新：1 年前
镜像概述
该Docker镜像为与HuggingFace推理端点兼容的VLLM容器，旨在提供高效的大语言模型推理服务并无缝集成HuggingFace推理端点。开源代码及详细使用说明可访问GitHub仓库获取。
核心功能与特性
- HuggingFace推理端点兼容性：支持与HuggingFace推理端点无缝集成，可直接接入HuggingFace生态系统
- 高效推理能力：基于VLLM框架，提供高吞吐量、低延迟的大语言模型推理服务
- 开源可访问：完整源代码与使用指南托管于GitHub，便于查看实现细节和获取技术支持
使用场景
适用于需要部署大语言模型推理服务并与HuggingFace生态集成的场景，包括：
- 构建兼容HuggingFace推理端点的大模型API服务
- 部署高性能大语言模型推理节点，满足高并发推理需求
- 快速集成VLLM的优化推理能力到现有HuggingFace工作流
使用方法与配置说明
基本使用指南
详细的部署步骤、配置参数及使用示例，请参考开源项目GitHub仓库：vllm-huggingface
部署示例
具体的docker run命令、环境变量配置及docker-compose示例等，请查阅GitHub仓库中的最新文档，获取完整的部署与配置说明。
rocm/vllm-ci
rocm
该仓库用于托管vllm项目持续集成（CI）流程所需的镜像，旨在为vllm-ci相关的自动化构建、测试及部署环节提供稳定的镜像存储与管理支持，确保CI流程高效、可靠地运行，满足vllm项目在开发迭代过程中对集成环境的镜像需求，助力项目快速验证代码变更、保障软件质量。
5 次收藏50万+ 次下载
14 天前更新
rocm/vllm-dev
rocm
rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像，集成vllm框架与AMD GPU加速能力，专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖，支持低延迟、高吞吐量的LLM推理，可快速进行模型加载、性能调优与多实例部署测试，助力开发者高效构建和调试大语言模型应用，充分发挥AMD GPU在AI计算中的算力优势。
18 次收藏10万+ 次下载
15 天前更新
rocm/vllm
rocm
这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。
21 次收藏10万+ 次下载
1 个月前更新
ai/kimi-k2-vllm
Docker AI 官方镜像
Kimi K2 Thinking是最新开源思考模型，作为能逐步推理并动态调用工具的思考代理，具备深度多步推理能力，支持200-300次连续工具调用，原生INT4量化实现低延迟和低GPU内存占用，上下文窗口达256k。
1 次收藏1万+ 次下载
3 个月前更新
ai/gpt-oss-vllm
Docker AI 官方镜像
OpenAI的开源权重模型，专为强大的推理能力和代理任务设计，适用于多用途开发场景。
1 次收藏1万+ 次下载
4 个月前更新
intel/vllm
intel
暂无描述
6 次收藏1万+ 次下载
1 个月前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"