MiniCPM-V 4.5 : Préparation efficace de MLLM grâce à l'architecture, aux données et à la recette d'entraînement

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

September 16, 2025

papers.authors: Tianyu Yu, Zefan Wang, Chongyi Wang, Fuwei Huang, Wenshuo Ma, Zhihui He, Tianchi Cai, Weize Chen, Yuxiang Huang, Yuanqian Zhao, Bokai Xu, Junbo Cui, Yingjing Xu, Liqing Ruan, Luoyuan Zhang, Hanyu Liu, Jingkun Tang, Hongyuan Liu, Qining Guo, Wenhao Hu, Bingxiang He, Jie Zhou, Jie Cai, Ji Qi, Zonghao Guo, Chi Chen, Guoyang Zeng, Yuxuan Li, Ganqu Cui, Ning Ding, Xu Han, Yuan Yao, Zhiyuan Liu, Maosong Sun

cs.AI

papers.abstract

Les modèles de langage multimodaux de grande taille (MLLMs) connaissent des progrès rapides et représentent la pointe du développement de l'IA. Cependant, leur efficacité en matière d'entraînement et d'inférence est devenue un goulot d'étranglement majeur pour les rendre plus accessibles et évolutifs. Pour relever ces défis, nous présentons MiniCPM-V 4.5, un modèle de 8 milliards de paramètres conçu pour une efficacité élevée et des performances solides. Nous introduisons trois améliorations majeures dans l'architecture du modèle, la stratégie de données et la méthode d'entraînement : une architecture de modèle 3D-Resampler unifiée pour un encodage très compact des images et des vidéos, un paradigme d'apprentissage unifié pour la connaissance documentaire et la reconnaissance de texte sans nécessiter d'ingénierie de données lourde, et une stratégie d'apprentissage par renforcement hybride pour exceller dans les modes de raisonnement courts et longs. Les résultats expérimentaux complets dans l'évaluation OpenCompass montrent que MiniCPM-V 4.5 surpasse des modèles propriétaires largement utilisés comme GPT-4o-latest, ainsi que des modèles open-source beaucoup plus grands comme Qwen2.5-VL 72B. Il est à noter que ces performances solides sont obtenues avec une efficacité remarquable. Par exemple, sur le benchmark VideoMME largement adopté, MiniCPM-V 4.5 atteint des performances de pointe parmi les modèles de moins de 30 milliards de paramètres, en utilisant seulement 46,7 % de la mémoire GPU et 8,7 % du temps d'inférence de Qwen2.5-VL 7B.

English

Multimodal Large Language Models (MLLMs) are undergoing rapid progress and represent the frontier of AI development. However, their training and inference efficiency have emerged as a core bottleneck in making MLLMs more accessible and scalable. To address the challenges, we present MiniCPM-V 4.5, an 8B parameter model designed for high efficiency and strong performance. We introduce three core improvements in model architecture, data strategy and training method: a unified 3D-Resampler model architecture for highly compact encoding over images and videos, a unified learning paradigm for document knowledge and text recognition without heavy data engineering, and a hybrid reinforcement learning strategy for proficiency in both short and long reasoning modes. Comprehensive experimental results in OpenCompass evaluation show that MiniCPM-V 4.5 surpasses widely used proprietary models such as GPT-4o-latest, and significantly larger open-source models such as Qwen2.5-VL 72B. Notably, the strong performance is achieved with remarkable efficiency. For example, on the widely adopted VideoMME benchmark, MiniCPM-V 4.5 achieves state-of-the-art performance among models under 30B size, using just 46.7\% GPU memory cost and 8.7\% inference time of Qwen2.5-VL 7B.