Grokked-Transformer sind implizite Schlussfolgerer: Eine mechanistische Reise an den Rand der Verallgemeinerung.

Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization

May 23, 2024

Autoren: Boshi Wang, Xiang Yue, Yu Su, Huan Sun

cs.AI

Zusammenfassung

Wir untersuchen, ob Transformer lernen können, implizit über parametrisches Wissen zu schlussfolgern, eine Fähigkeit, mit der selbst die leistungsfähigsten Sprachmodelle zu kämpfen haben. Indem wir uns auf zwei repräsentative Arten des Schlussfolgerns, die Zusammensetzung und den Vergleich, konzentrieren, stellen wir konsequent fest, dass Transformer implizites Schlussfolgern erlernen können, jedoch nur durch "Grokking", d.h. ein erweitertes Training, das weit über das Überanpassen hinausgeht. Die Generalisierungsebenen variieren auch je nach Art des Schlussfolgerns: Wenn sie mit Beispielen außerhalb der Verteilung konfrontiert werden, versagen Transformer darin, systematisch für die Zusammensetzung zu generalisieren, gelingen jedoch beim Vergleich. Wir tauchen während des Trainings in die Interna des Modells ein und führen analytische Experimente durch, die Folgendes aufdecken: 1) den Mechanismus hinter dem Grokking, wie die Bildung des generalisierenden Schaltkreises und sein Verhältnis zur relativen Effizienz der generalisierenden und memorierenden Schaltkreise, und 2) die Verbindung zwischen Systematik und der Konfiguration des generalisierenden Schaltkreises. Unsere Ergebnisse leiten Daten und Trainingsaufbau an, um implizites Schlussfolgern besser zu fördern, und legen potenzielle Verbesserungen der Transformer-Architektur nahe, wie die Förderung des Wissensaustauschs zwischen den Schichten. Darüber hinaus zeigen wir, dass für eine anspruchsvolle Schlussfolgerungsaufgabe mit einem großen Suchraum GPT-4-Turbo und Gemini-1.5-Pro auf Basis von nicht-parametrischem Speicher unabhängig von den Abfragestilen oder der Abrufverstärkung schlecht abschneiden, während ein vollständig gegrokkter Transformer nahezu perfekte Genauigkeit erreichen kann, was die Leistungsfähigkeit des parametrischen Speichers für komplexe Schlussfolgerungen verdeutlicht.

English

We study whether transformers can learn to implicitly reason over parametric knowledge, a skill that even the most capable language models struggle with. Focusing on two representative reasoning types, composition and comparison, we consistently find that transformers can learn implicit reasoning, but only through grokking, i.e., extended training far beyond overfitting. The levels of generalization also vary across reasoning types: when faced with out-of-distribution examples, transformers fail to systematically generalize for composition but succeed for comparison. We delve into the model's internals throughout training, conducting analytical experiments that reveal: 1) the mechanism behind grokking, such as the formation of the generalizing circuit and its relation to the relative efficiency of generalizing and memorizing circuits, and 2) the connection between systematicity and the configuration of the generalizing circuit. Our findings guide data and training setup to better induce implicit reasoning and suggest potential improvements to the transformer architecture, such as encouraging cross-layer knowledge sharing. Furthermore, we demonstrate that for a challenging reasoning task with a large search space, GPT-4-Turbo and Gemini-1.5-Pro based on non-parametric memory fail badly regardless of prompting styles or retrieval augmentation, while a fully grokked transformer can achieve near-perfect accuracy, showcasing the power of parametric memory for complex reasoning.