Масштабирование MLP: История об индуктивном смещении

Scaling MLPs: A Tale of Inductive Bias

June 23, 2023

Авторы: Gregor Bachmann, Sotiris Anagnostidis, Thomas Hofmann

cs.AI

Аннотация

В данной работе мы возвращаемся к фундаментальному строительному блоку глубокого обучения — многослойному перцептрону (MLP) — и исследуем пределы его производительности на задачах компьютерного зрения. Эмпирические инсайты, связанные с MLP, важны по нескольким причинам. (1) Учитывая недавний нарратив "меньше индуктивного смещения — лучше", популяризированный благодаря тому, что трансформеры превзошли сверточные модели, естественно изучить пределы этой гипотезы. В этом контексте MLP предлагает идеальный полигон для испытаний, поскольку полностью свободен от какого-либо индуктивного смещения. (2) MLP почти исключительно выступают главным героем в теоретической литературе по глубокому обучению благодаря своей математической простоте, служа прокси для объяснения эмпирических явлений, наблюдаемых в более сложных архитектурах. Удивительно, но экспериментальные данные по MLP крайне сложно найти в литературе, особенно в сочетании с крупномасштабными протоколами предварительного обучения. Это расхождение между практикой и теорией вызывает беспокойство: отражают ли MLP эмпирические достижения, демонстрируемые практическими моделями? Или теоретикам необходимо переосмыслить роль MLP как прокси? Мы предоставляем инсайты по обоим этим аспектам. Мы показываем, что производительность MLP значительно улучшается с масштабированием (93% на CIFAR10, 79% на CIFAR100, 69% на TinyImageNet), подчеркивая, что отсутствие индуктивного смещения действительно может быть компенсировано. Мы наблюдаем, что MLP точно воспроизводят поведение своих современных аналогов, хотя некоторые компоненты в настройках обучения демонстрируют более сильные или неожиданные характеристики. Благодаря их врожденной вычислительной эффективности крупномасштабные эксперименты с предварительным обучением становятся более доступными для академических исследователей. Все наши эксперименты были проведены на одном графическом процессоре.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.