MiniCPM-o Team，OpenBMB

➤ 项目网站

🔗 https://github.com/OpenBMB/MiniCPM-o

➤ 模型权重

🔗 https://huggingface.co/openbmb/MiniCPM-o-2_6

🔗 https://modelscope.cn/models/OpenBMB/MiniCPM-o-2_6

➤ Demo

🔗 https://minicpm-omni-webdemo-us.modelbest.cn/

⛰️ 攀登更深处的山峰：多模态大模型发展趋势。多模态大模型的性能持续增强，并在真实世界的流式场景中支持越来越多的模态能力。与传统视觉语言模型的线性发展不同，这种发展趋势更加多维，就像攀登深处的山峰一样，可能蕴含更多变革性的宝藏。

简介

多模态大模型的蓬勃发展始于视觉和语言，其中开源社区在图像理解能力方面实现了越来越强的性能表现。然而，我们的物理世界本质上是一个并行的连续多模态信息流，而当前大多数多模态大模型缺乏处理这样信息流的能力。最近的 GPT-4o 和 Gemini 2.0 等突破性工作迈出了朝这个目标的第一步，为领域的未来发展建立了雄心勃勃且充满希望的方向。

为了促进开源社区的探索，我们推出了 MiniCPM-o 2.6，一个从 MiniCPM-V 系列升级而来的最新性能最佳的端侧多模态大模型。该模型接受图像、视频、文本和音频输入，并以端到端方式生成高质量的文本和语音输出。虽然总参数量仅有 8B，MiniCPM-o 2.6 的视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。其主要特性包括：

• 领先的视觉能力。 MiniCPM-o 2.6 在 OpenCompass 榜单上（综合 8 个主流多模态评测基准）平均得分 70.2，以 8B 量级的大小在单图理解方面超越了 GPT-4o-202405、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。此外，它的多图和视频理解表现也优于 GPT-4V 和 Claude 3.5 Sonnet，并展现出了优秀的上下文学习能力。
• 出色的语音能力。 MiniCPM-o 2.6 支持可配置声音的中英双语实时语音对话。MiniCPM-o 2.6 在语音理解任务（如 ASR 和 STT 等）优于 GPT-4o-realtime，并在语音对话的语义和声学评估中展现了开源社区最佳的语音生成性能。它还支持情绪/语速/风格控制、语音克隆、角色扮演等进阶能力。
• 强大的多模态流式交互能力。 作为一项新功能，MiniCPM-o 2.6 能够接受连续的视频和音频流，并和用户进行实时语音交互。在综合评测基准 StreamingBench 中（包含实时视频理解、全模态视音频理解、多模态上下文理解三大类评测），MiniCPM-o 2.6 取得开源社区最佳水平，并超过了 GPT-4o-202408 和 Claude 3.5 Sonnet。
• 强大的 OCR 能力及其他功能。 MiniCPM-o 2.6 进一步优化了 MiniCPM-V 2.6 的众多视觉理解能力，可以处理任意长宽比的高清图像，像素数可达 180 万（如 1344x1344像素）。在 OCRBench 上取得 25B 以下最佳水平，超过 GPT-4o-202405 等商用闭源模型。基于最新的 RLHF-V、RLAIF-V 和 VisCPM 技术，该模型具备了可信的多模态行为，在 MMHal-Bench 上超过了 GPT-4o 和 Claude 3.5，并支持英语、中文、德语、法语、意大利语、韩语等30多种语言的多模态交互。
• 卓越的效率。  除了对个人用户友好的模型大小，MiniCPM-o 2.6 还表现出最先进的视觉 token 密度（即每个视觉 token 编码的像素数量）。它仅需 640 个 token 即可编码 180 万像素图像，比大多数模型少 75%。这一特性显著优化了模型的推理速度、首 token 延迟、内存占用和功耗。因此，MiniCPM-o 2.6 可以首次支持 iPad 等终端设备上的高效多模态实时流式交互。