Scalabilità delle MLP: Una questione di bias induttivo

Abstract

In questo lavoro riprendiamo il blocco costitutivo più fondamentale del deep learning, il perceptron multistrato (MLP), e studiamo i limiti delle sue prestazioni nei compiti di visione. Le intuizioni empiriche sugli MLP sono importanti per molteplici ragioni. (1) Considerando la recente narrativa "meno bias induttivo è meglio", popolarizzata grazie ai transformer che hanno eclissato i modelli convoluzionali, è naturale esplorare i limiti di questa ipotesi. A tal fine, gli MLP offrono un banco di prova ideale, essendo completamente privi di qualsiasi bias induttivo. (2) Gli MLP sono stati quasi esclusivamente i protagonisti principali nella letteratura teorica del deep learning grazie alla loro semplicità matematica, servendo come proxy per spiegare i fenomeni empirici osservati per architetture più complesse. Sorprendentemente, i dati sperimentali sugli MLP sono molto difficili da trovare nella letteratura, specialmente quando accoppiati a protocolli di pre-addestramento su larga scala. Questa discrepanza tra pratica e teoria è preoccupante: gli MLP riflettono i progressi empirici mostrati dai modelli pratici? O i teorici devono ripensare il ruolo degli MLP come proxy? Forniamo approfondimenti su entrambi questi aspetti. Mostriamo che le prestazioni degli MLP migliorano drasticamente con la scala (93% su CIFAR10, 79% su CIFAR100, 69% su TinyImageNet), evidenziando che la mancanza di bias induttivo può effettivamente essere compensata. Osserviamo che gli MLP imitano fedelmente il comportamento delle loro controparti moderne, con alcuni componenti nel contesto di apprendimento che tuttavia mostrano comportamenti più forti o inaspettati. Grazie alla loro intrinseca efficienza computazionale, gli esperimenti di pre-addestramento su larga scala diventano più accessibili per i ricercatori accademici. Tutti i nostri esperimenti sono stati eseguiti su una singola GPU.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.

Scalabilità delle MLP: Una questione di bias induttivo

Scaling MLPs: A Tale of Inductive Bias

Abstract

Support