NaViL: Repensando as Propriedades de Escalabilidade de Modelos de Linguagem Multimodais Nativos sob Restrições de Dados
NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints
October 9, 2025
Autores: Changyao Tian, Hao Li, Gen Luo, Xizhou Zhu, Weijie Su, Hanming Deng, Jinguo Zhu, Jie Shao, Ziran Zhu, Yunpeng Liu, Lewei Lu, Wenhai Wang, Hongsheng Li, Jifeng Dai
cs.AI
Resumo
O treinamento composicional tem sido o paradigma de facto nos modelos de linguagem multimodal de grande escala (MLLMs) existentes, onde codificadores visuais pré-treinados são conectados a modelos de linguagem de grande escala (LLMs) pré-treinados por meio de pré-treinamento multimodal contínuo. No entanto, a propriedade de escalabilidade multimodal desse paradigma permanece difícil de explorar devido ao treinamento separado. Neste artigo, focamos no treinamento nativo de MLLMs de ponta a ponta e estudamos sistematicamente seu espaço de design e propriedade de escalabilidade em um cenário prático, ou seja, com restrição de dados. Através de um estudo cuidadoso de várias escolhas em MLLMs, obtemos a meta-arquitetura ideal que melhor equilibra desempenho e custo de treinamento. Após isso, exploramos ainda mais as propriedades de escalabilidade do MLLM nativo e indicamos a relação de escalabilidade positivamente correlacionada entre codificadores visuais e LLMs. Com base nessas descobertas, propomos um MLLM nativo chamado NaViL, combinado com uma receita simples e custo-efetiva. Resultados experimentais em 14 benchmarks multimodais confirmam o desempenho competitivo do NaViL em comparação com MLLMs existentes. Além disso, nossas descobertas e resultados fornecem insights profundos para o estudo futuro de MLLMs nativos.
English
Compositional training has been the de-facto paradigm in existing Multimodal
Large Language Models (MLLMs), where pre-trained vision encoders are connected
with pre-trained LLMs through continuous multimodal pre-training. However, the
multimodal scaling property of this paradigm remains difficult to explore due
to the separated training. In this paper, we focus on the native training of
MLLMs in an end-to-end manner and systematically study its design space and
scaling property under a practical setting, i.e., data constraint. Through
careful study of various choices in MLLM, we obtain the optimal
meta-architecture that best balances performance and training cost. After that,
we further explore the scaling properties of the native MLLM and indicate the
positively correlated scaling relationship between visual encoders and LLMs.
Based on these findings, we propose a native MLLM called NaViL, combined with a
simple and cost-effective recipe. Experimental results on 14 multimodal
benchmarks confirm the competitive performance of NaViL against existing MLLMs.
Besides that, our findings and results provide in-depth insights for the future
study of native MLLMs.