Schaalbaarheid van MLP's: Een Verhaal over Inductieve Bias

Samenvatting

In dit werk herzien we het meest fundamentele bouwblok in deep learning, het multi-layer perceptron (MLP), en onderzoeken we de grenzen van zijn prestaties bij visuele taken. Empirische inzichten in MLPs zijn om meerdere redenen belangrijk. (1) Gezien het recente narratief "minder inductieve bias is beter", dat populair is geworden door de opkomst van transformers die convolutionele modellen overtreffen, is het natuurlijk om de grenzen van deze hypothese te verkennen. Daartoe bieden MLPs een ideale testomgeving, aangezien ze volledig vrij zijn van elke inductieve bias. (2) MLPs zijn vrijwel uitsluitend de hoofdrolspeler geweest in de deep learning-theorieliteratuur vanwege hun wiskundige eenvoud, en dienen als een proxy om empirische fenomenen te verklaren die worden waargenomen bij complexere architecturen. Verrassend genoeg zijn experimentele gegevenspunten voor MLPs zeer moeilijk te vinden in de literatuur, vooral wanneer ze gekoppeld zijn aan grote pre-trainingsprotocollen. Deze discrepantie tussen praktijk en theorie is zorgwekkend: Reflecteren MLPs de empirische vooruitgang die wordt getoond door praktische modellen? Of moeten theoretici de rol van MLPs als proxy heroverwegen? Wij bieden inzichten in beide aspecten. We laten zien dat de prestaties van MLPs drastisch verbeteren met schaal (93% op CIFAR10, 79% op CIFAR100, 69% op TinyImageNet), wat benadrukt dat het ontbreken van inductieve bias inderdaad kan worden gecompenseerd. We observeren dat MLPs het gedrag van hun moderne tegenhangers trouw nabootsen, waarbij sommige componenten in de leeromgeving echter verrassend sterkere of onverwachte gedragingen vertonen. Door hun inherente computationele efficiëntie worden grote pre-trainingsexperimenten toegankelijker voor academische onderzoekers. Al onze experimenten werden uitgevoerd op een enkele GPU.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.

Schaalbaarheid van MLP's: Een Verhaal over Inductieve Bias

Scaling MLPs: A Tale of Inductive Bias

Samenvatting

Support