MiniCPM-V 4.5: Preparando MLLMs eficientes mediante arquitectura, datos y recetas de entrenamiento

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

September 16, 2025

Autores: Tianyu Yu, Zefan Wang, Chongyi Wang, Fuwei Huang, Wenshuo Ma, Zhihui He, Tianchi Cai, Weize Chen, Yuxiang Huang, Yuanqian Zhao, Bokai Xu, Junbo Cui, Yingjing Xu, Liqing Ruan, Luoyuan Zhang, Hanyu Liu, Jingkun Tang, Hongyuan Liu, Qining Guo, Wenhao Hu, Bingxiang He, Jie Zhou, Jie Cai, Ji Qi, Zonghao Guo, Chi Chen, Guoyang Zeng, Yuxuan Li, Ganqu Cui, Ning Ding, Xu Han, Yuan Yao, Zhiyuan Liu, Maosong Sun

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) están experimentando un progreso acelerado y representan la vanguardia del desarrollo de la IA. Sin embargo, su eficiencia en entrenamiento e inferencia se ha convertido en un cuello de botella fundamental para hacer que los MLLMs sean más accesibles y escalables. Para abordar estos desafíos, presentamos MiniCPM-V 4.5, un modelo de 8 mil millones de parámetros diseñado para alta eficiencia y un rendimiento sólido. Introducimos tres mejoras clave en la arquitectura del modelo, la estrategia de datos y el método de entrenamiento: una arquitectura de modelo 3D-Resampler unificada para una codificación altamente compacta de imágenes y videos, un paradigma de aprendizaje unificado para el conocimiento documental y el reconocimiento de texto sin necesidad de una ingeniería de datos compleja, y una estrategia híbrida de aprendizaje por refuerzo para dominar tanto el razonamiento corto como el largo. Los resultados experimentales exhaustivos en la evaluación de OpenCompass muestran que MiniCPM-V 4.5 supera a modelos propietarios ampliamente utilizados, como GPT-4o-latest, y a modelos de código abierto significativamente más grandes, como Qwen2.5-VL 72B. Es destacable que este rendimiento sólido se logra con una eficiencia notable. Por ejemplo, en el benchmark ampliamente adoptado VideoMME, MiniCPM-V 4.5 alcanza un rendimiento de vanguardia entre los modelos de menos de 30 mil millones de parámetros, utilizando solo el 46.7% del costo de memoria GPU y el 8.7% del tiempo de inferencia de Qwen2.5-VL 7B.

English

Multimodal Large Language Models (MLLMs) are undergoing rapid progress and represent the frontier of AI development. However, their training and inference efficiency have emerged as a core bottleneck in making MLLMs more accessible and scalable. To address the challenges, we present MiniCPM-V 4.5, an 8B parameter model designed for high efficiency and strong performance. We introduce three core improvements in model architecture, data strategy and training method: a unified 3D-Resampler model architecture for highly compact encoding over images and videos, a unified learning paradigm for document knowledge and text recognition without heavy data engineering, and a hybrid reinforcement learning strategy for proficiency in both short and long reasoning modes. Comprehensive experimental results in OpenCompass evaluation show that MiniCPM-V 4.5 surpasses widely used proprietary models such as GPT-4o-latest, and significantly larger open-source models such as Qwen2.5-VL 72B. Notably, the strong performance is achieved with remarkable efficiency. For example, on the widely adopted VideoMME benchmark, MiniCPM-V 4.5 achieves state-of-the-art performance among models under 30B size, using just 46.7\% GPU memory cost and 8.7\% inference time of Qwen2.5-VL 7B.