NaViL: Heroverweging van schaaleigenschappen van native multimodale grote taalmodellen onder databeperkingen

NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints

October 9, 2025

Auteurs: Changyao Tian, Hao Li, Gen Luo, Xizhou Zhu, Weijie Su, Hanming Deng, Jinguo Zhu, Jie Shao, Ziran Zhu, Yunpeng Liu, Lewei Lu, Wenhai Wang, Hongsheng Li, Jifeng Dai

cs.AI

Samenvatting

Compositionele training is de facto het paradigma geweest in bestaande Multimodale Grote Taalmodellen (MLLMs), waarbij vooraf getrainde visuele encoders worden verbonden met vooraf getrainde LLMs door middel van continue multimodale voorpretraining. Het multimodale schaaleigenschap van dit paradigma blijft echter moeilijk te verkennen vanwege de gescheiden training. In dit artikel richten we ons op de native training van MLLMs op een end-to-end manier en bestuderen we systematisch de ontwerpruimte en schaaleigenschappen onder een praktische setting, namelijk databeperking. Door zorgvuldige studie van verschillende keuzes in MLLM, verkrijgen we de optimale meta-architectuur die prestaties en trainingskosten het beste in balans brengt. Daarna verkennen we verder de schaaleigenschappen van de native MLLM en wijzen we op de positief gecorreleerde schaalrelatie tussen visuele encoders en LLMs. Op basis van deze bevindingen stellen we een native MLLM voor genaamd NaViL, gecombineerd met een eenvoudig en kosteneffectief recept. Experimentele resultaten op 14 multimodale benchmarks bevestigen de competitieve prestaties van NaViL ten opzichte van bestaande MLLMs. Daarnaast bieden onze bevindingen en resultaten diepgaande inzichten voor toekomstig onderzoek naar native MLLMs.

English

Compositional training has been the de-facto paradigm in existing Multimodal Large Language Models (MLLMs), where pre-trained vision encoders are connected with pre-trained LLMs through continuous multimodal pre-training. However, the multimodal scaling property of this paradigm remains difficult to explore due to the separated training. In this paper, we focus on the native training of MLLMs in an end-to-end manner and systematically study its design space and scaling property under a practical setting, i.e., data constraint. Through careful study of various choices in MLLM, we obtain the optimal meta-architecture that best balances performance and training cost. After that, we further explore the scaling properties of the native MLLM and indicate the positively correlated scaling relationship between visual encoders and LLMs. Based on these findings, we propose a native MLLM called NaViL, combined with a simple and cost-effective recipe. Experimental results on 14 multimodal benchmarks confirm the competitive performance of NaViL against existing MLLMs. Besides that, our findings and results provide in-depth insights for the future study of native MLLMs.