Schaalwetten voor Inheemse Multimodale Modellen Schaalwetten voor Inheemse Multimodale Modellen

Scaling Laws for Native Multimodal Models Scaling Laws for Native Multimodal Models

April 10, 2025

Auteurs: Mustafa Shukor, Enrico Fini, Victor Guilherme Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby

cs.AI

Samenvatting

Het bouwen van algemene modellen die de wereld effectief kunnen waarnemen via multimodale signalen is een lang gekoesterd doel. Huidige benaderingen omvatten het integreren van apart voorgetrainde componenten, zoals het verbinden van visuele encoders met LLM's en het voortzetten van multimodale training. Hoewel dergelijke benaderingen opmerkelijke steekproefefficiëntie vertonen, blijft het een open vraag of dergelijke late-fusie-architecturen inherent superieur zijn. In dit werk herzien we het ontwerp van native multimodale modellen (NMM's)—die vanaf de grond zijn getraind op alle modaliteiten—en voeren we een uitgebreide studie naar schaalwetten uit, waarbij we 457 getrainde modellen met verschillende architecturen en trainingsmengsels bestrijken. Ons onderzoek onthult geen inherent voordeel van late-fusie-architecturen ten opzichte van vroege-fusie-architecturen, die niet afhankelijk zijn van beeldencoders. Integendeel, vroege-fusie vertoont sterkere prestaties bij lagere parameteraantallen, is efficiënter om te trainen en is gemakkelijker te implementeren. Gemotiveerd door de sterke prestaties van de vroege-fusie-architecturen, laten we zien dat het incorporeren van Mixture of Experts (MoEs) modellen mogelijk maakt die modaliteitsspecifieke gewichten leren, wat de prestaties aanzienlijk verbetert.

English

Building general-purpose models that can effectively perceive the world through multimodal signals has been a long-standing goal. Current approaches involve integrating separately pre-trained components, such as connecting vision encoders to LLMs and continuing multimodal training. While such approaches exhibit remarkable sample efficiency, it remains an open question whether such late-fusion architectures are inherently superior. In this work, we revisit the architectural design of native multimodal models (NMMs)--those trained from the ground up on all modalities--and conduct an extensive scaling laws study, spanning 457 trained models with different architectures and training mixtures. Our investigation reveals no inherent advantage to late-fusion architectures over early-fusion ones, which do not rely on image encoders. On the contrary, early-fusion exhibits stronger performance at lower parameter counts, is more efficient to train, and is easier to deploy. Motivated by the strong performance of the early-fusion architectures, we show that incorporating Mixture of Experts (MoEs) allows for models that learn modality-specific weights, significantly enhancing performance.