Quiet-STaR: Sprachmodelle können sich selbst beibringen, vor dem Sprechen nachzudenken.

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

March 14, 2024

Autoren: Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman

cs.AI

Zusammenfassung

Beim Schreiben und Sprechen machen Menschen manchmal Pausen, um nachzudenken. Obwohl arbeitsorientierte Werke das Denken oft als eine Methode zur Beantwortung von Fragen oder zur Erfüllung von agentischen Aufgaben dargestellt haben, ist das Denken implizit in fast allen schriftlichen Texten vorhanden. Dies gilt beispielsweise für die nicht explizit angegebenen Schritte zwischen den Zeilen eines Beweises oder für die Theory of Mind, die einem Gespräch zugrunde liegt. Im Self-Taught Reasoner (STaR, Zelikman et al. 2022) wird nützliches Denken erlernt, indem Begründungen aus wenigen Beispielen im Frage-Antwort-Format abgeleitet und aus dem gelernt wird, was zu einer korrekten Antwort führt. Dies ist eine stark eingeschränkte Umgebung - idealerweise könnte ein Sprachmodell stattdessen lernen, nicht explizit angegebene Begründungen in beliebigem Text abzuleiten. Wir präsentieren Quiet-STaR, eine Verallgemeinerung von STaR, bei der Sprachmodelle lernen, Begründungen für jeden Token zu generieren, um zukünftigen Text zu erklären und damit ihre Vorhersagen zu verbessern. Wir behandeln Schlüsselherausforderungen, einschließlich 1) der Rechenkosten für die Generierung von Fortsetzungen, 2) der Tatsache, dass das Sprachmodell anfangs nicht weiß, wie es interne Gedanken generieren oder verwenden soll, und 3) der Notwendigkeit, über einzelne nächste Tokens hinauszupredicten. Um diese zu lösen, schlagen wir einen tokenweisen parallelen Sampling-Algorithmus vor, der lernbare Tokens verwendet, die den Beginn und das Ende eines Gedankens anzeigen, sowie eine erweiterte Lehrerzwang-Technik. Ermutigenderweise helfen generierte Begründungen dem Modell überproportional bei der Vorhersage schwierig zu prognostizierender Tokens und verbessern die Fähigkeit des Sprachmodells, schwierige Fragen direkt zu beantworten. Insbesondere nach fortgesetztem Pretraining eines Sprachmodells auf einem Korpus von Internettexten mit Quiet-STaR stellen wir Null-Schuss-Verbesserungen bei GSM8K (5,9% auf 10,9%) und CommonsenseQA (36,3% auf 47,2%) fest und beobachten eine Verringerung der Perplexität schwieriger Tokens in natürlichen Texten. Diese Verbesserungen erfordern entscheidend keine Feinabstimmung für diese Aufgaben. Quiet-STaR markiert einen Schritt hin zu Sprachmodellen, die auf eine allgemeinere und skalierbarere Weise lernen können zu denken.

English

When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al. 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting -- ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present Quiet-STaR, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%rightarrow10.9%) and CommonsenseQA (36.3%rightarrow47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.