MiniCPM-V 4.5: Preparando MLLMs Eficientes através de Arquitetura, Dados e Receita de Treinamento

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

September 16, 2025

Autores: Tianyu Yu, Zefan Wang, Chongyi Wang, Fuwei Huang, Wenshuo Ma, Zhihui He, Tianchi Cai, Weize Chen, Yuxiang Huang, Yuanqian Zhao, Bokai Xu, Junbo Cui, Yingjing Xu, Liqing Ruan, Luoyuan Zhang, Hanyu Liu, Jingkun Tang, Hongyuan Liu, Qining Guo, Wenhao Hu, Bingxiang He, Jie Zhou, Jie Cai, Ji Qi, Zonghao Guo, Chi Chen, Guoyang Zeng, Yuxuan Li, Ganqu Cui, Ning Ding, Xu Han, Yuan Yao, Zhiyuan Liu, Maosong Sun

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) estão passando por um progresso acelerado e representam a fronteira do desenvolvimento de IA. No entanto, a eficiência de treinamento e inferência desses modelos emergiu como um gargalo central para torná-los mais acessíveis e escaláveis. Para enfrentar esses desafios, apresentamos o MiniCPM-V 4.5, um modelo de 8 bilhões de parâmetros projetado para alta eficiência e desempenho robusto. Introduzimos três melhorias centrais na arquitetura do modelo, estratégia de dados e método de treinamento: uma arquitetura de modelo 3D-Resampler unificada para codificação altamente compacta de imagens e vídeos, um paradigma de aprendizado unificado para conhecimento de documentos e reconhecimento de texto sem a necessidade de engenharia de dados pesada, e uma estratégia híbrida de aprendizado por reforço para proficiência em modos de raciocínio curtos e longos. Resultados experimentais abrangentes na avaliação OpenCompass mostram que o MiniCPM-V 4.5 supera modelos proprietários amplamente utilizados, como o GPT-4o-latest, e modelos de código aberto significativamente maiores, como o Qwen2.5-VL 72B. Notavelmente, o forte desempenho é alcançado com eficiência notável. Por exemplo, no benchmark amplamente adotado VideoMME, o MiniCPM-V 4.5 atinge desempenho de ponta entre modelos com menos de 30 bilhões de parâmetros, utilizando apenas 46,7% do custo de memória GPU e 8,7% do tempo de inferência do Qwen2.5-VL 7B.

English

Multimodal Large Language Models (MLLMs) are undergoing rapid progress and represent the frontier of AI development. However, their training and inference efficiency have emerged as a core bottleneck in making MLLMs more accessible and scalable. To address the challenges, we present MiniCPM-V 4.5, an 8B parameter model designed for high efficiency and strong performance. We introduce three core improvements in model architecture, data strategy and training method: a unified 3D-Resampler model architecture for highly compact encoding over images and videos, a unified learning paradigm for document knowledge and text recognition without heavy data engineering, and a hybrid reinforcement learning strategy for proficiency in both short and long reasoning modes. Comprehensive experimental results in OpenCompass evaluation show that MiniCPM-V 4.5 surpasses widely used proprietary models such as GPT-4o-latest, and significantly larger open-source models such as Qwen2.5-VL 72B. Notably, the strong performance is achieved with remarkable efficiency. For example, on the widely adopted VideoMME benchmark, MiniCPM-V 4.5 achieves state-of-the-art performance among models under 30B size, using just 46.7\% GPU memory cost and 8.7\% inference time of Qwen2.5-VL 7B.