Skalierung von MLPs: Eine Geschichte des induktiven Bias

Scaling MLPs: A Tale of Inductive Bias

June 23, 2023

Autoren: Gregor Bachmann, Sotiris Anagnostidis, Thomas Hofmann

cs.AI

Zusammenfassung

In dieser Arbeit untersuchen wir den grundlegendsten Baustein des Deep Learning, das mehrschichtige Perzeptron (MLP), und erforschen die Grenzen seiner Leistungsfähigkeit bei Vision-Aufgaben. Empirische Erkenntnisse über MLPs sind aus mehreren Gründen wichtig. (1) Angesichts des aktuellen Narrativs „weniger induktive Verzerrung ist besser“, das durch die Überlegenheit von Transformern gegenüber konvolutionellen Modellen populär wurde, ist es naheliegend, die Grenzen dieser Hypothese zu erforschen. In dieser Hinsicht bieten MLPs ein ideales Testfeld, da sie vollständig frei von jeglicher induktiver Verzerrung sind. (2) MLPs waren aufgrund ihrer mathematischen Einfachheit fast ausschließlich die Hauptprotagonisten in der Deep-Learning-Theorieliteratur und dienten als Stellvertreter, um empirische Phänomene zu erklären, die bei komplexeren Architekturen beobachtet wurden. Überraschenderweise sind experimentelle Datenpunkte für MLPs in der Literatur nur schwer zu finden, insbesondere in Verbindung mit umfangreichen Vor-Trainingsprotokollen. Diese Diskrepanz zwischen Praxis und Theorie ist besorgniserregend: Reflektieren MLPs die empirischen Fortschritte, die praktische Modelle zeigen? Oder müssen Theoretiker die Rolle von MLPs als Stellvertreter überdenken? Wir liefern Einblicke in beide Aspekte. Wir zeigen, dass die Leistung von MLPs mit der Skalierung drastisch steigt (93 % auf CIFAR10, 79 % auf CIFAR100, 69 % auf TinyImageNet), was verdeutlicht, dass der Mangel an induktiver Verzerrung tatsächlich kompensiert werden kann. Wir beobachten, dass MLPs das Verhalten ihrer modernen Gegenstücke treu nachahmen, wobei jedoch einige Komponenten in der Lernumgebung überraschend stärkere oder unerwartete Verhaltensweisen zeigen. Aufgrund ihrer inhärenten Recheneffizienz werden umfangreiche Vor-Trainingsexperimente für akademische Forscher zugänglicher. Alle unsere Experimente wurden auf einer einzigen GPU durchgeführt.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.