Escalando MLPs: Un relato sobre el sesgo inductivo

Resumen

En este trabajo revisitamos el bloque fundamental más básico del aprendizaje profundo, el perceptrón multicapa (MLP), y estudiamos los límites de su rendimiento en tareas de visión. Las perspectivas empíricas sobre los MLPs son importantes por múltiples razones. (1) Dada la narrativa reciente de que "menos sesgo inductivo es mejor", popularizada debido a que los transformadores han eclipsado a los modelos convolucionales, es natural explorar los límites de esta hipótesis. En ese sentido, los MLPs ofrecen un banco de pruebas ideal, ya que están completamente libres de cualquier sesgo inductivo. (2) Los MLPs han sido casi exclusivamente los protagonistas principales en la literatura teórica del aprendizaje profundo debido a su simplicidad matemática, sirviendo como un proxy para explicar fenómenos empíricos observados en arquitecturas más complejas. Sorprendentemente, los puntos de datos experimentales para MLPs son muy difíciles de encontrar en la literatura, especialmente cuando se combinan con protocolos de preentrenamiento a gran escala. Esta discrepancia entre la práctica y la teoría es preocupante: ¿Reflejan los MLPs los avances empíricos exhibidos por los modelos prácticos? ¿O los teóricos necesitan reconsiderar el papel de los MLPs como proxy? Ofrecemos perspectivas sobre ambos aspectos. Mostramos que el rendimiento de los MLPs mejora drásticamente con la escala (93% en CIFAR10, 79% en CIFAR100, 69% en TinyImageNet), destacando que la falta de sesgo inductivo puede compensarse. Observamos que los MLPs imitan fielmente el comportamiento de sus contrapartes modernas, aunque algunos componentes en el entorno de aprendizaje exhiben comportamientos más fuertes o inesperados. Debido a su eficiencia computacional inherente, los experimentos de preentrenamiento a gran escala se vuelven más accesibles para los investigadores académicos. Todos nuestros experimentos se ejecutaron en una sola GPU.

English

In this work we revisit the most fundamental building block in deep learning, the multi-layer perceptron (MLP), and study the limits of its performance on vision tasks. Empirical insights into MLPs are important for multiple reasons. (1) Given the recent narrative "less inductive bias is better", popularized due to transformers eclipsing convolutional models, it is natural to explore the limits of this hypothesis. To that end, MLPs offer an ideal test bed, being completely free of any inductive bias. (2) MLPs have almost exclusively been the main protagonist in the deep learning theory literature due to their mathematical simplicity, serving as a proxy to explain empirical phenomena observed for more complex architectures. Surprisingly, experimental datapoints for MLPs are very difficult to find in the literature, especially when coupled with large pre-training protocols. This discrepancy between practice and theory is worrying: Do MLPs reflect the empirical advances exhibited by practical models? Or do theorists need to rethink the role of MLPs as a proxy? We provide insights into both these aspects. We show that the performance of MLPs drastically improves with scale (93% on CIFAR10, 79% on CIFAR100, 69% on TinyImageNet), highlighting that lack of inductive bias can indeed be compensated. We observe that MLPs mimic the behaviour of their modern counterparts faithfully, with some components in the learning setting however surprisingly exhibiting stronger or unexpected behaviours. Due to their inherent computational efficiency, large pre-training experiments become more accessible for academic researchers. All of our experiments were run on a single GPU.

Escalando MLPs: Un relato sobre el sesgo inductivo

Scaling MLPs: A Tale of Inductive Bias

Resumen

Support