MiniCPM-V 4.5: Preparare Modelli Multilingue di Apprendimento Efficienti attraverso Architettura, Dati e Ricette di Addestramento

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

September 16, 2025

Autori: Tianyu Yu, Zefan Wang, Chongyi Wang, Fuwei Huang, Wenshuo Ma, Zhihui He, Tianchi Cai, Weize Chen, Yuxiang Huang, Yuanqian Zhao, Bokai Xu, Junbo Cui, Yingjing Xu, Liqing Ruan, Luoyuan Zhang, Hanyu Liu, Jingkun Tang, Hongyuan Liu, Qining Guo, Wenhao Hu, Bingxiang He, Jie Zhou, Jie Cai, Ji Qi, Zonghao Guo, Chi Chen, Guoyang Zeng, Yuxuan Li, Ganqu Cui, Ning Ding, Xu Han, Yuan Yao, Zhiyuan Liu, Maosong Sun

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) stanno registrando progressi rapidi e rappresentano l'avanguardia dello sviluppo dell'IA. Tuttavia, l'efficienza nel loro addestramento e inferenza è emersa come un collo di bottiglia fondamentale per rendere gli MLLMs più accessibili e scalabili. Per affrontare queste sfide, presentiamo MiniCPM-V 4.5, un modello da 8 miliardi di parametri progettato per alta efficienza e prestazioni robuste. Introduciamo tre miglioramenti chiave nell'architettura del modello, nella strategia dei dati e nel metodo di addestramento: un'architettura unificata 3D-Resampler per una codifica altamente compatta di immagini e video, un paradigma di apprendimento unificato per la conoscenza documentale e il riconoscimento del testo senza la necessità di un'ingegnerizzazione pesante dei dati, e una strategia ibrida di apprendimento per rinforzo per competenza sia nei modi di ragionamento brevi che lunghi. I risultati sperimentali completi nella valutazione OpenCompass mostrano che MiniCPM-V 4.5 supera modelli proprietari ampiamente utilizzati come GPT-4o-latest, e modelli open-source significativamente più grandi come Qwen2.5-VL 72B. È degno di nota che queste prestazioni robuste siano raggiunte con un'efficienza straordinaria. Ad esempio, sul benchmark VideoMME ampiamente adottato, MiniCPM-V 4.5 raggiunge prestazioni all'avanguardia tra i modelli di dimensioni inferiori a 30 miliardi, utilizzando solo il 46,7% del costo della memoria GPU e l'8,7% del tempo di inferenza rispetto a Qwen2.5-VL 7B.

English

Multimodal Large Language Models (MLLMs) are undergoing rapid progress and represent the frontier of AI development. However, their training and inference efficiency have emerged as a core bottleneck in making MLLMs more accessible and scalable. To address the challenges, we present MiniCPM-V 4.5, an 8B parameter model designed for high efficiency and strong performance. We introduce three core improvements in model architecture, data strategy and training method: a unified 3D-Resampler model architecture for highly compact encoding over images and videos, a unified learning paradigm for document knowledge and text recognition without heavy data engineering, and a hybrid reinforcement learning strategy for proficiency in both short and long reasoning modes. Comprehensive experimental results in OpenCompass evaluation show that MiniCPM-V 4.5 surpasses widely used proprietary models such as GPT-4o-latest, and significantly larger open-source models such as Qwen2.5-VL 72B. Notably, the strong performance is achieved with remarkable efficiency. For example, on the widely adopted VideoMME benchmark, MiniCPM-V 4.5 achieves state-of-the-art performance among models under 30B size, using just 46.7\% GPU memory cost and 8.7\% inference time of Qwen2.5-VL 7B.