intelanalytics/ipex-llm-inference-cpp-xpu
intelanalytics
暂无描述
7 次收藏10万+ 次下载6 个月前更新
roboflow/roboflow-inference-server-trt
roboflow
Roboflow官方推理服务器，针对TRT目标设备提供推理服务
10万+ 次下载16 小时前更新
rancher/opni-inference-service
rancher
暂无描述
1 次收藏1万+ 次下载2 年前更新
roboflow/roboflow-inference-server-cpu
roboflow
官方Roboflow推理服务器，适用于CPU平台的推理任务运行。
2 次收藏10万+ 次下载16 小时前更新
roboflow/roboflow-inference-server-gpu
roboflow
暂无描述
2 次收藏10万+ 次下载16 小时前更新
semitechnologies/model2vec-inference
semitechnologies
暂无描述
5万+ 次下载7 个月前更新
semitechnologies/transformers-inference
semitechnologies
暂无描述
50万+ 次下载4 个月前更新
roboflow/roboflow-inference-server-jetson-5.1.1
roboflow
暂无描述
1万+ 次下载16 小时前更新
openeuler/text-embeddings-inference-cpu
openeuler
暂无描述
1.2千+ 次下载6 个月前更新
openeuler/euler-copilot-fast-inference
openeuler
暂无描述
277 次下载1 年前更新
openeuler/text-generation-inference-cpu
openeuler
暂无描述
709 次下载6 个月前更新
magentaaps/dipex
magentaaps
为OS2mo系统提供集成功能的集合，包含多种工具和服务，方便与其他系统进行对接和数据交互。
10万+ 次下载1 天前更新
openeuler/euler-copilot-fast-inference-qwen
openeuler
暂无描述
57 次下载1 年前更新
intelanalytics/ipex-llm-serving-cpu
intelanalytics
暂无描述
10万+ 次下载8 个月前更新
phipex/bingoservicemock
phipex
暂无描述
1万+ 次下载4 个月前更新
inferencedevnet/amd64-nvidia-inference-node
inferencedevnet
暂无描述
1 次收藏1万+ 次下载5 个月前更新
inferencecloud/amd64-nvidia-inference-node
inferencecloud
暂无描述
1万+ 次下载2 个月前更新
intelanalytics/ipex-llm-serving-xpu
intelanalytics
暂无描述
4 次收藏1万+ 次下载6 个月前更新
xprobe/xinference
xprobe
暂无描述
51 次收藏500万+ 次下载15 小时前更新
dhruvnair/inference-toolkit
dhruvnair
暂无描述
100万+ 次下载10 个月前更新
willseff/cyrt-inference
willseff
暂无描述
10万+ 次下载2 个月前更新
hamunadocker/inference-node
hamunadocker
分布式机器学习推理节点镜像，用于在分布式环境中部署和运行机器学习模型推理任务，支持高效扩展和资源优化，适用于大规模模型推理场景。
10万+ 次下载1 年前更新
第 1 页
相关博客
MinerU Docker 部署指南：PDF 结构化解析服务实践
MinerU 是一款面向开发者与科研用户的容器化应用，专为 vLLM 后端服务设计，提供高效的文档解析与处理能力。通过 Docker 容器化部署 MinerU，可以简化安装流程、确保环境一致性，并便于在不同环境中快速迁移和扩展。 本指南将详细介绍 MinerU 的 Docker 容器化部署方案，包括环境准备、镜像拉取、容器部署、功能测试及生产环境配置建议，旨在帮助用户快速搭建稳定可靠的 MinerU 服务。
MinerU,PDF,人工智能,vLLM2025/12/30
VLLM Docker 容器化部署指南：在 NVIDIA Jetson 平台高效运行大语言模型推理服务
VLLM是一个高效的开源大语言模型（LLM）推理服务框架，通过创新的PagedAttention技术实现高吞吐量和低延迟的推理性能。本文介绍的`dustynv/vllm`镜像是针对NVIDIA Jetson平台优化的容器化版本，由[dustynv/jetson-containers](https://github.com/dustynv/jetson-containers)项目构建，专为边缘计算场景设计，支持在资源受限的嵌入式设备上部署高性能LLM推理服务。
Docker,VLLM2025/12/2
NANO_LLM Docker 容器化部署指南
NANO_LLM是一个轻量级、优化的大型语言模型(LLM)推理和多模态智能体库，专为边缘设备和高性能计算环境设计。该库提供了对多种深度学习框架的支持，包括PyTorch、TensorRT和ONNX Runtime，能够高效运行各类语言模型和多模态应用。
Docker,NANO_LLM2025/11/17
基于 Docker 部署 xprobe/xinference：从环境准备到实战操作
如果你想部署一个AI模型做推理（比如用Qwen-7B做对话、用ResNet做图片分类），不用手动解决模型依赖、CUDA配置、环境冲突这些麻烦事——Xinference已经把这些工作封装好，尤其是通过Docker镜像，能让你在几分钟内搭好推理环境。
Docker,xinference2025/10/10
vllm-openai Docker 部署全手册
从个人开发者测试开源大模型，到企业搭建私有推理服务，vllm-openai 都是高效且低成本的选择。本教程将从核心概念讲起，逐步覆盖 Docker 环境准备、镜像拉取、多场景部署、结果验证及问题排查，无论你是初学者还是高级工程师，都能照着步骤完成部署。
Docker,vllm-openai2025/10/9
verl Docker 容器化部署手册
无论你是刚接触大模型工具的初学者，还是需要高效管理训练任务的高级工程师，本教程都将带你一步步完成 verlai/verl 镜像的 Docker 部署——从工具认知、环境搭建到多场景部署实践，每个步骤均配备完整命令与详细说明，确保照着做就能成。
Docker,verl2025/10/8