Leyes de Escalado para Modelos Multimodales Nativos Leyes de Escalado para Modelos Multimodales Nativos

Scaling Laws for Native Multimodal Models Scaling Laws for Native Multimodal Models

April 10, 2025

Autores: Mustafa Shukor, Enrico Fini, Victor Guilherme Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby

cs.AI

Resumen

La construcción de modelos de propósito general que puedan percibir efectivamente el mundo a través de señales multimodales ha sido un objetivo de larga data. Los enfoques actuales implican integrar componentes preentrenados por separado, como conectar codificadores de visión a LLMs (Modelos de Lenguaje de Gran Escala) y continuar con el entrenamiento multimodal. Si bien estos enfoques muestran una notable eficiencia en el uso de muestras, sigue siendo una pregunta abierta si tales arquitecturas de fusión tardía son inherentemente superiores. En este trabajo, revisitamos el diseño arquitectónico de los modelos multimodales nativos (NMMs, por sus siglas en inglés)—aquellos entrenados desde cero en todas las modalidades—y realizamos un extenso estudio de leyes de escalamiento, abarcando 457 modelos entrenados con diferentes arquitecturas y mezclas de entrenamiento. Nuestra investigación revela que no existe una ventaja inherente de las arquitecturas de fusión tardía sobre las de fusión temprana, que no dependen de codificadores de imágenes. Por el contrario, la fusión temprana exhibe un rendimiento más sólido con un menor número de parámetros, es más eficiente para entrenar y más fácil de implementar. Motivados por el fuerte rendimiento de las arquitecturas de fusión temprana, demostramos que la incorporación de Mezcla de Expertos (MoEs, por sus siglas en inglés) permite que los modelos aprendan pesos específicos para cada modalidad, mejorando significativamente el rendimiento.

English

Building general-purpose models that can effectively perceive the world through multimodal signals has been a long-standing goal. Current approaches involve integrating separately pre-trained components, such as connecting vision encoders to LLMs and continuing multimodal training. While such approaches exhibit remarkable sample efficiency, it remains an open question whether such late-fusion architectures are inherently superior. In this work, we revisit the architectural design of native multimodal models (NMMs)--those trained from the ground up on all modalities--and conduct an extensive scaling laws study, spanning 457 trained models with different architectures and training mixtures. Our investigation reveals no inherent advantage to late-fusion architectures over early-fusion ones, which do not rely on image encoders. On the contrary, early-fusion exhibits stronger performance at lower parameter counts, is more efficient to train, and is easier to deploy. Motivated by the strong performance of the early-fusion architectures, we show that incorporating Mixture of Experts (MoEs) allows for models that learn modality-specific weights, significantly enhancing performance.