Aufdeckung von Mesa-Optimierungsalgorithmen in Transformern

Uncovering mesa-optimization algorithms in Transformers

September 11, 2023

papers.authors: Johannes von Oswald, Eyvind Niklasson, Maximilian Schlegel, Seijin Kobayashi, Nicolas Zucchet, Nino Scherrer, Nolan Miller, Mark Sandler, Blaise Agüera y Arcas, Max Vladymyrov, Razvan Pascanu, João Sacramento

cs.AI

papers.abstract

Transformer haben sich zum dominierenden Modell im Deep Learning entwickelt, doch die Gründe für ihre überlegene Leistungsfähigkeit sind nur unzureichend verstanden. Hier stellen wir die Hypothese auf, dass die starke Leistung von Transformern auf einer architektonischen Verzerrung zugunsten von Mesa-Optimierung beruht, einem gelernten Prozess, der innerhalb des Vorwärtsdurchlaufs eines Modells abläuft und aus den folgenden zwei Schritten besteht: (i) die Konstruktion eines internen Lernziels und (ii) dessen entsprechende Lösung durch Optimierung. Um diese Hypothese zu testen, reverse-engineeren wir eine Reihe von autoregressiven Transformern, die auf einfachen Sequenzmodellierungsaufgaben trainiert wurden, und decken zugrunde liegende gradientenbasierte Mesa-Optimierungsalgorithmen auf, die die Generierung von Vorhersagen antreiben. Darüber hinaus zeigen wir, dass der gelernte Optimierungsalgorithmus im Vorwärtsdurchlauf sofort zur Lösung von überwachten Few-Shot-Aufgaben umfunktioniert werden kann, was darauf hindeutet, dass Mesa-Optimierung die In-Context-Lernfähigkeiten großer Sprachmodelle unterstreichen könnte. Schließlich schlagen wir eine neuartige Self-Attention-Schicht, die Mesa-Schicht, vor, die Optimierungsprobleme, die im Kontext spezifiziert sind, explizit und effizient löst. Wir stellen fest, dass diese Schicht zu verbesserten Leistungen in synthetischen und vorläufigen Sprachmodellierungsexperimenten führen kann, was unsere Hypothese untermauert, dass Mesa-Optimierung eine wichtige Operation ist, die in den Gewichten trainierter Transformer verborgen ist.

English

Transformers have become the dominant model in deep learning, but the reason for their superior performance is poorly understood. Here, we hypothesize that the strong performance of Transformers stems from an architectural bias towards mesa-optimization, a learned process running within the forward pass of a model consisting of the following two steps: (i) the construction of an internal learning objective, and (ii) its corresponding solution found through optimization. To test this hypothesis, we reverse-engineer a series of autoregressive Transformers trained on simple sequence modeling tasks, uncovering underlying gradient-based mesa-optimization algorithms driving the generation of predictions. Moreover, we show that the learned forward-pass optimization algorithm can be immediately repurposed to solve supervised few-shot tasks, suggesting that mesa-optimization might underlie the in-context learning capabilities of large language models. Finally, we propose a novel self-attention layer, the mesa-layer, that explicitly and efficiently solves optimization problems specified in context. We find that this layer can lead to improved performance in synthetic and preliminary language modeling experiments, adding weight to our hypothesis that mesa-optimization is an important operation hidden within the weights of trained Transformers.