Leis de Escalonamento para Modelos Multimodais Nativos Leis de Escalonamento para Modelos Multimodais Nativos

Scaling Laws for Native Multimodal Models Scaling Laws for Native Multimodal Models

April 10, 2025

Autores: Mustafa Shukor, Enrico Fini, Victor Guilherme Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby

cs.AI

Resumo

A construção de modelos de propósito geral que possam perceber o mundo de forma eficaz por meio de sinais multimodais tem sido um objetivo de longa data. As abordagens atuais envolvem a integração de componentes pré-treinados separadamente, como conectar codificadores de visão a LLMs (Large Language Models) e continuar o treinamento multimodal. Embora essas abordagens demonstrem uma eficiência amostral notável, ainda é uma questão em aberto se tais arquiteturas de fusão tardia são inerentemente superiores. Neste trabalho, revisitamos o projeto arquitetônico de modelos multimodais nativos (NMMs)—aqueles treinados desde o início em todas as modalidades—e conduzimos um extenso estudo de leis de escalonamento, abrangendo 457 modelos treinados com diferentes arquiteturas e misturas de treinamento. Nossa investigação revela que não há uma vantagem inerente das arquiteturas de fusão tardia sobre as de fusão precoce, que não dependem de codificadores de imagem. Pelo contrário, a fusão precoce exibe um desempenho mais forte em contagens de parâmetros mais baixas, é mais eficiente para treinar e mais fácil de implantar. Motivados pelo forte desempenho das arquiteturas de fusão precoce, mostramos que a incorporação de Mistura de Especialistas (MoEs) permite que modelos aprendam pesos específicos para cada modalidade, melhorando significativamente o desempenho.

English

Building general-purpose models that can effectively perceive the world through multimodal signals has been a long-standing goal. Current approaches involve integrating separately pre-trained components, such as connecting vision encoders to LLMs and continuing multimodal training. While such approaches exhibit remarkable sample efficiency, it remains an open question whether such late-fusion architectures are inherently superior. In this work, we revisit the architectural design of native multimodal models (NMMs)--those trained from the ground up on all modalities--and conduct an extensive scaling laws study, spanning 457 trained models with different architectures and training mixtures. Our investigation reveals no inherent advantage to late-fusion architectures over early-fusion ones, which do not rely on image encoders. On the contrary, early-fusion exhibits stronger performance at lower parameter counts, is more efficient to train, and is easier to deploy. Motivated by the strong performance of the early-fusion architectures, we show that incorporating Mixture of Experts (MoEs) allows for models that learn modality-specific weights, significantly enhancing performance.