Quiet-STaR: Taalmodellen kunnen zichzelf aanleren om na te denken voor ze spreken

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

March 14, 2024

Auteurs: Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman

cs.AI

Samenvatting

Bij het schrijven en praten pauzeren mensen soms om na te denken. Hoewel onderzoek gericht op redeneren dit vaak heeft benaderd als een methode om vragen te beantwoorden of taken uit te voeren, is redeneren impliciet aanwezig in bijna alle geschreven tekst. Dit geldt bijvoorbeeld voor de stappen die niet expliciet worden vermeld tussen de regels van een bewijs of voor de theory of mind die ten grondslag ligt aan een gesprek. In de Self-Taught Reasoner (STaR, Zelikman et al. 2022) wordt nuttig denken geleerd door redeneringen af te leiden uit few-shot voorbeelden in vraag-antwoordtaken en te leren van die redeneringen die tot een correct antwoord leiden. Dit is een sterk beperkte setting – idealiter zou een taalmodel in plaats daarvan kunnen leren om niet-uitgesproken redeneringen af te leiden in willekeurige tekst. Wij presenteren Quiet-STaR, een generalisatie van STaR waarin taalmodelen leren om bij elk token redeneringen te genereren die toekomstige tekst verklaren, waardoor hun voorspellingen verbeteren. We gaan in op belangrijke uitdagingen, waaronder 1) de rekenkosten van het genereren van vervolgen, 2) het feit dat het taalmodel aanvankelijk niet weet hoe het interne gedachten moet genereren of gebruiken, en 3) de noodzaak om verder te kijken dan individuele volgende tokens. Om deze op te lossen, stellen we een tokengewijs parallel sampling-algoritme voor, waarbij leerbare tokens worden gebruikt om het begin en einde van een gedachte aan te geven, en een uitgebreide teacher-forcing-techniek. Bemoedigend is dat gegenereerde redeneringen onevenredig veel helpen bij het voorspellen van moeilijke tokens en het vermogen van het taalmodel verbeteren om moeilijke vragen direct te beantwoorden. In het bijzonder vinden we, na voortgezette pretraining van een taalmodel op een corpus van internettekst met Quiet-STaR, zero-shot verbeteringen op GSM8K (5,9%→10,9%) en CommonsenseQA (36,3%→47,2%) en observeren we een perplexiteitsverbetering van moeilijke tokens in natuurlijke tekst. Cruciaal is dat deze verbeteringen geen fine-tuning op deze taken vereisen. Quiet-STaR markeert een stap richting taalmodelen die op een meer algemene en schaalbare manier kunnen leren redeneren.

English

When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al. 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting -- ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present Quiet-STaR, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%rightarrow10.9%) and CommonsenseQA (36.3%rightarrow47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.