【VLM】MiniCPM-o 4.5：全双工实时交互

noteMiniCPM-o 4.5的核心是Omni-Flow框架它将多模态输入与输出沿共享时间轴对齐把传统轮次交互转变为连续全双工过程。整个架构包含三个核心组件多模态编码器、LLM主干、语音解码器。文章目录note一、MiniCPM-o 4.5Reference一、MiniCPM-o 4.5MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction2026.4MiniCPM-o 4.5的核心是Omni-Flow框架它将多模态输入与输出沿共享时间轴对齐把传统轮次交互转变为连续全双工过程。整个架构包含三个核心组件多模态编码器、LLM主干、语音解码器。端到端全双工架构多模态编码器视觉采用SigLIP ViT0.4B配合LLaVA-UHD分区策略支持任意宽高比的高分辨率图像通过重采样模块实现16倍token压缩从1024压缩到64。音频采用Whisper Medium编码器0.3B以分块流方式处理每秒生成50个特征token再经MLP投影器5倍时间压缩为每秒10个音频token。LLM主干Qwen3-8B只生成文本token和隐藏状态不直接生成语音token。为什么因为语音token每秒约25个如果让主干直接生成效率极低且语言能力易退化。作者巧妙地将语音token生成委托给轻量级Llama语音token解码器0.3B利用主干网络的隐藏状态经MLP reshape来指导韵律和风格。语音解码器包括自回归生成离散S3语音token的交错语音token解码器以及将语音token转换为波形的流式流匹配解码器。所有组件在token级可微分连接支持端到端梯度传播。9b模型效果MiniCPM系列其他模型MiniCPM-o 4.5Omni图文音全模态2025年8月发布9B32K上下文全双工语音图像视频。MiniCPM-V 4.5视觉版不含原生语音同期开源视频理解、OCR大幅升级。MiniCPM-V 4.62026年5月更新轻量化改版基于Qwen3.5混合基座256K上下文混合视觉token压缩还有带思考链的 -Thinking 版本。模型参数规模定位主要能力MiniCPM-V 4.6约1.3B最新端侧 VLM图像、多图、视频理解超轻量端侧部署MiniCPM-V 4.58B高性能视觉语言模型图像/视频/文档/OCRfast/deep thinkingMiniCPM-o 4.59B全模态模型视频音频输入文本语音输出实时全双工交互MiniCPM-V 2.68B早期强 VLM手机端图像/视频理解OCR多语言MiniCPM-V 2.0 / V 2约2.8B更轻量 VLM图像理解端侧部署MiniCPM5-1B1B文本小模型本地助手、coding agent、工具调用、思考模式不是多模态其中最“端侧小参数”的多模态模型重点看MiniCPM-V 4.6。公开资料显示它采用SigLIP2-400M 视觉编码器 Qwen3.5-0.8B 语言模型总规模约1.3B支持文本、图像、视频输入并面向手机等边缘设备部署。这里1.3B小模型效果看着还行Reference[1] 面壁发布MiniCPM-o 4.5 | 9B干翻30B全双工实时交互直接封神