Skalierungsgesetze für native multimodale Modelle Skalierungsgesetze für native multimodale Modelle

Scaling Laws for Native Multimodal Models Scaling Laws for Native Multimodal Models

April 10, 2025

Autoren: Mustafa Shukor, Enrico Fini, Victor Guilherme Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby

cs.AI

Zusammenfassung

Die Entwicklung allgemeiner Modelle, die die Welt effektiv durch multimodale Signale wahrnehmen können, ist ein langjähriges Ziel. Aktuelle Ansätze beinhalten die Integration separat vortrainierter Komponenten, wie beispielsweise die Verbindung von Vision-Encodern mit LLMs und die Fortführung des multimodalen Trainings. Obwohl solche Ansätze eine bemerkenswerte Stichprobeneffizienz aufweisen, bleibt die Frage offen, ob solche Late-Fusion-Architekturen inhärent überlegen sind. In dieser Arbeit untersuchen wir erneut das architektonische Design nativer multimodaler Modelle (NMMs) – solche, die von Grund auf für alle Modalitäten trainiert werden – und führen eine umfangreiche Studie zu Skalierungsgesetzen durch, die 457 trainierte Modelle mit unterschiedlichen Architekturen und Trainingsmischungen umfasst. Unsere Untersuchung zeigt keinen inhärenten Vorteil von Late-Fusion-Architekturen gegenüber Early-Fusion-Architekturen, die nicht auf Bild-Encoder angewiesen sind. Im Gegenteil, Early-Fusion zeigt eine stärkere Leistung bei geringeren Parameterzahlen, ist effizienter zu trainieren und einfacher zu implementieren. Motiviert durch die starke Leistung der Early-Fusion-Architekturen zeigen wir, dass die Einbindung von Mixture of Experts (MoEs) Modelle ermöglicht, die modalspezifische Gewichte lernen, was die Leistung erheblich verbessert.

English

Building general-purpose models that can effectively perceive the world through multimodal signals has been a long-standing goal. Current approaches involve integrating separately pre-trained components, such as connecting vision encoders to LLMs and continuing multimodal training. While such approaches exhibit remarkable sample efficiency, it remains an open question whether such late-fusion architectures are inherently superior. In this work, we revisit the architectural design of native multimodal models (NMMs)--those trained from the ground up on all modalities--and conduct an extensive scaling laws study, spanning 457 trained models with different architectures and training mixtures. Our investigation reveals no inherent advantage to late-fusion architectures over early-fusion ones, which do not rely on image encoders. On the contrary, early-fusion exhibits stronger performance at lower parameter counts, is more efficient to train, and is easier to deploy. Motivated by the strong performance of the early-fusion architectures, we show that incorporating Mixture of Experts (MoEs) allows for models that learn modality-specific weights, significantly enhancing performance.