Mise à l'échelle des MLP : Une histoire de biais inductif

Résumé

Dans ce travail, nous revisitons le bloc de construction le plus fondamental de l'apprentissage profond, le perceptron multicouche (MLP), et étudions les limites de ses performances sur des tâches de vision. Les insights empiriques sur les MLPs sont importants pour plusieurs raisons. (1) Compte tenu du récent récit "moins de biais inductif est meilleur", popularisé par le fait que les transformateurs ont éclipsé les modèles convolutifs, il est naturel d'explorer les limites de cette hypothèse. À cette fin, les MLPs offrent un terrain d'essai idéal, étant totalement exempts de tout biais inductif. (2) Les MLPs ont presque exclusivement été le protagoniste principal dans la littérature théorique de l'apprentissage profond en raison de leur simplicité mathématique, servant de proxy pour expliquer les phénomènes empiriques observés pour des architectures plus complexes. Étonnamment, les points de données expérimentaux pour les MLPs sont très difficiles à trouver dans la littérature, surtout lorsqu'ils sont couplés à des protocoles de pré-entraînement à grande échelle. Cette divergence entre la pratique et la théorie est préoccupante : les MLPs reflètent-ils les avancées empiriques exhibées par les modèles pratiques ? Ou les théoriciens doivent-ils repenser le rôle des MLPs en tant que proxy ? Nous apportons des éclairages sur ces deux aspects. Nous montrons que les performances des MLPs s'améliorent considérablement avec l'échelle (93% sur CIFAR10, 79% sur CIFAR100, 69% sur TinyImageNet), soulignant que le manque de biais inductif peut en effet être compensé. Nous observons que les MLPs imitent fidèlement le comportement de leurs homologues modernes, bien que certains composants dans le cadre d'apprentissage présentent des comportements plus forts ou inattendus de manière surprenante. En raison de leur efficacité computationnelle inhérente, les expériences de pré-entraînement à grande échelle deviennent plus accessibles pour les chercheurs académiques. Toutes nos expériences ont été réalisées sur un seul GPU.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.

Mise à l'échelle des MLP : Une histoire de biais inductif

Scaling MLPs: A Tale of Inductive Bias

Résumé

Support