ghcr.io/OpenBMB/minicpmo-demo:latest
MiniCPM-o 4.5 PyTorch 简易演示系统
中文简介 | Documentation | Realtime API Docs
Ready-to-use Demo Website | *** | Feishu Group
本演示系统由MiniCPM-o 4.5模型训练团队官方提供。它采用PyTorch + CUDA推理后端,结合轻量级前后端设计,旨在以透明、简洁、无损耗的方式展示MiniCPM-o 4.5的全音视频多模态全双工能力。
MiniCPM-o 4.5## 关于 MiniCPM-o 4.5
MiniCPM-o 4.5是MiniCPM-o系列中最新且功能最强的模型。该模型基于SigLip2、Whisper-medium、CosyVoice2和Qwen3-8B以端到端方式构建,总参数为90亿。它展现出显著的性能提升,并引入了全双工多模态直播的新功能。MiniCPM-o 4.5的主要特性包括:
-
🔥 领先的视觉能力。MiniCPM-o 4.5在OpenCompass(包含8个主流基准的综合评估)中取得77.6的平均得分。仅90亿参数,它在视觉语言能力上超越了GPT-4o、Gemini 2.0 Pro等广泛使用的专有模型,并接近Gemini 2.5 Flash。它在单个模型中支持指令模式和思考模式,更好地覆盖不同用户场景下的效率与性能权衡。 🔥 领先的视觉能力。MiniCPM-o 4.5在OpenCompass(包含8个主流基准的综合评估)中取得77.6的平均得分。仅90亿参数,它在视觉语言能力上超越了GPT-4o、Gemini 2.0 Pro等广泛使用的专有模型,并接近Gemini 2.5 Flash。它在单个模型中支持指令模式和思考模式,更好地覆盖不同用户场景下的效率与性能权衡。
-
🎙 强大的语音能力。MiniCPM-o 4.5支持中英文双语实时语音对话,语音可配置。它具有更自然、更富表现力且更稳定的语音对话特性。该模型还支持通过简单的参考音频片段实现语音克隆和角色扮演等趣味功能,其克隆性能超越了CosyVoice2等强大的TTS工具。 🎙 强大的语音能力。MiniCPM-o 4.5支持中英文双语实时语音对话,语音可配置。它具有更自然、更富表现力且更稳定的语音对话特性。该模型还支持通过简单的参考音频片段实现语音克隆和角色扮演等趣味功能,其克隆性能超越了CosyVoice2等强大的TTS工具。
-
🎬 全新的全双工与主动式多模态直播能力。作为新特性,MiniCPM-o 4.5能够同时处理实时、连续的视频和音频输入流,同时以端到端方式生成并发的文本和语音输出流,无需相互阻塞。这使得MiniCPM-o 4.5能够同时看、听、说,创造流畅、实时的多模态对话体验。除了被动响应外,该模型还能进行主动交互,例如基于对直播场景的持续理解发起提醒或评论。 🎬 全新的全双工与主动式多模态直播能力。作为新特性,MiniCPM-o 4.5能够同时处理实时、连续的视频和音频输入流,同时以端到端方式生成并发的文本和语音输出流,无需相互阻塞。这使得MiniCPM-o 4.5能够同时看、听、说,创造流畅、实时的多模态对话体验。除了被动响应外,该模型还能进行主动交互,例如基于对直播场景的持续理解发起提醒或评论。
-
💪 强大的OCR能力、效率及其他特性。继承MiniCPM-V系列广受欢迎的视觉能力,MiniCPM-o 4.5能够高效处理任意宽高比的高分辨率图像(最高180万像素)和高帧率视频(最高10fps)。在OmniDocBench上,它在端到端英文文档解析方面达到了最先进性能,超越了Gemini-3 Flash、GPT-5等专有模型以及DeepSeek-OCR 2等专业工具。它还具有可靠的行为表现,在MMHal-Bench上与Gemini 2.5 Flash相当,并支持超过30种语言的多语言能力。 💪 强大的OCR能力、效率及其他特性。继承MiniCPM-V系列广受欢迎的视觉能力,MiniCPM-o 4.5能够高效处理任意宽高比的高分辨率图像(最高180万像素)和高帧率视频(最高10fps)。在OmniDocBench上,它在端到端英文文档解析方面达到了最先进性能,超越了Gemini-3 Flash、GPT-5等专有模型以及DeepSeek-OCR 2等专业工具。它还具有可靠的行为表现,在MMHal-Bench上与Gemini 2.5 Flash相当,并支持超过30种语言的多语言能力。
-
💫 易于使用。MiniCPM-o 4.5可通过多种方式轻松使用:基础用法(推荐用于100%精度):使用Nvidia GPU进行PyTorch推理。其他端侧适配包括(1)支持llama.cpp和Ollama,实现本地设备上的高效CPU推理;(2)提供16种尺寸的int4和GGUF格式量化模型;(3)支持vLLM和SGLang,实现高吞吐量和内存高效推理;(4)支持FlagOS,提供统一的多芯片后端插件。我们还开源了Web演示,可在GPU、PC(如MacBook)等本地设备上实现全双工多模态直播体验。 💫 易于使用。MiniCPM-o 4.5可通过多种方式轻松使用:基础用法(推荐用于100%精度):使用Nvidia GPU进行PyTorch推理。其他端侧适配包括(1)支持llama.cpp和Ollama,实现本地设备上的高效CPU推理;(2)提供16种尺寸的int4和GGUF格式量化模型;(3)支持vLLM和SGLang,实现高吞吐量和内存高效推理;(4)支持FlagOS,提供统一的多芯片后端插件。我们还开源了Web演示,可在GPU、PC(如MacBook)等本地设备上实现全双工多模态直播体验。
-
端到端全模态架构。模态编码器/解码器与LLM通过隐藏状态以端到端方式紧密连接。这实现了更好的信息流和控制,也有助于在训练过程中充分利用丰富的多模态知识。 端到端全模态架构。模态编码器/解码器与LLM通过隐藏状态以端到端方式紧密连接。这实现了更好的信息流和控制,也有助于在训练过程中充分利用丰富的多模态知识。
当前支持的3种模式共享单个模型实例,支持毫秒级热切换(网关 -> Python Worker -> 后端)
- 网关(Gateway)是公开的HTTPS/WebSocket入口点。它不加载模型,负责处理路由、排队、会话记录和Worker健康检查。
- Python Worker公开Worker的WebSocket/健康检查API,拥有Worker状态,并将运行时协议消息转发到后端服务器。
- 后端(Backend)运行模型。后端可以是PyTorch实现(py_backend/server.py)或C++实现(来自llama.cpp-omni的llama-omni-server)。
py_backend/server.py llama-omni-server llama.cpp-omni
Docker部署(推荐)
Docker Compose是官方维护的快速启动部署方式。使用Compose文件进行部署,并参考docker-compose*.yml、docker/Dockerfile.和docker/entrypoint-.sh了解确切的启动流程、端口、挂载、健康检查和后端参数。
docker-compose*.yml docker/Dockerfile.* docker/entrypoint-*.sh
前提条件:
- Docker及Compose v2插件
- NVIDIA容器工具包
- 每个worker-backend实例配备一张NVIDIA GPU
- 模型权重从主机挂载;权重不内置到镜像中
通过Compose部署PyTorch后端:
mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
-keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"
MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5 docker compose up -d --build
docker compose logs -f gateway
docker compose logs -f worker-backend-0
编辑docker-compose.yml以匹配您的GPU数量。仅当您有意在每个GPU上运行多个worker实例时,才使用docker-compose.multi.yml。
docker-compose.yml docker-compose.multi.yml
通过Compose部署C++后端:
mkdir -p certs data
openssl req -x509 -newkey rsa:2048 -nodes -days 365 \
-keyout certs/key.pem -out certs/cert.pem -subj "/CN=minicpm-o"
GGUF_MODEL_HOST_PATH=/path/to/MiniCPM-o-4_5-gguf \
GATEWAY_HOST_PORT=8006 \
CPP_GPU_ID=0 \
docker compose -f docker-compose.cpp.yml up -d --build
docker compose -f docker-compose.cpp.yml logs -f gateway
docker compose -f docker-compose.cpp.yml logs -f cpp-worker-backend
对于C++后端,docker-compose.cpp.yml是指定的入口文件。它使用由docker/Dockerfile.cpp-worker-backend和docker/entrypoint-cpp-worker-backend.sh定义的C++ worker镜像。阅读这些文件以了解确切的llama.cpp-omni引用、后端命令和默认LLAMA_SERVER_EXTRA_ARGS。
docker-compose.cpp.yml docker/Dockerfile.cpp-worker-backend docker/entrypoint-cpp-worker-backend.sh LLAMA_SERVER_EXTRA_ARGS
裸机部署:
对于裸机部署,请将Docker依赖项和入口命令映射到您的主机环境。保持相同的三阶段启动流程:网关(Gateway)、Python Worker和后端(Backend)。
停止Docker服务:
docker compose down # PyTorch后端compose
docker compose -f docker-compose.cpp.yml down # C++后端compose
minicpmo45_service/
├── config.json # 服务配置(从 config.example.json 复制,已加入 gitignore)
├── config.example.json # 配置示例(包含所有字段及默认值)
├── config.py # 配置加载逻辑(Pydantic 定义 + JSON 加载)
├── requirements.txt # Python 依赖项
├── docker-compose.yml # 推荐的 PyTorch 后端部署配置
├── docker-compose.cpp.yml # 推荐的 C++ 后端部署配置
├── docker-compose.multi.yml # 每 GPU 多工作进程部署变体
├── docker/ # Dockerfile 和容器入口脚本
│
├── gateway.py # 网关(路由、队列、WS 代理)
├── worker.py # 工作进程(运行时协议代理)
├── gateway_modules/ # 网关业务模块
├── py_backend/ # PyTorch 后端服务器
├── runtime/ # 后端协议客户端/会话层
│
├── core/ # 核心封装
│ ├── schemas/ # Pydantic 数据模型(请求/响应)
│ └── processors/ # 推理处理器(UnifiedProcessor)
│
├── MiniCPMO45/ # 模型核心推理代码
├── static/ # 前端页面
├── resources/ # 资源文件(参考音频等)
└── tmp/ # 运行时日志和 PID 文件
配置
config.json 为直接在主机上启动的进程提供默认值,或在显式挂载文件时为容器提供默认值。Docker 部署默认不会将主机的 config.json 复制到镜像中;部署行为由 Compose 文件、入口脚本、环境变量和命令行参数定义。
如果需要进行裸机调试,请从 config.example.json 和 config.py 开始。命令行参数仍然优先于 config.json,缺失的字段将回退到 Pydantic 默认值。
资源消耗
| 资源 | Token2Wav(默认) | + torch.compile |
|---|---|---|
| 显存(每 Worker,初始化后) | ~21.5 GB | ~21.5 GB |
| 模型加载时间 | ~16s | ~16s + ~5 分钟(预热)/ ~15 分钟(冷启动) |
| 模式切换延迟 | < 0.1ms | < 0.1ms |
| 全双工每单元延迟(A100) | ~0.9s | ~0.5s |
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务