Quiet-STaR : Les modèles de langage peuvent apprendre à réfléchir avant de parler

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

March 14, 2024

Auteurs: Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman

cs.AI

Résumé

Lorsqu'ils écrivent ou parlent, les gens font parfois des pauses pour réfléchir. Bien que les travaux axés sur le raisonnement aient souvent présenté celui-ci comme une méthode pour répondre à des questions ou accomplir des tâches autonomes, le raisonnement est implicite dans presque tous les textes écrits. Par exemple, cela s'applique aux étapes non énoncées entre les lignes d'une preuve ou à la théorie de l'esprit sous-jacente à une conversation. Dans le Self-Taught Reasoner (STaR, Zelikman et al. 2022), une réflexion utile est apprise en inférant des justifications à partir d'exemples en few-shot dans des tâches de question-réponse, et en apprenant de celles qui conduisent à une réponse correcte. Il s'agit d'un cadre très contraint — idéalement, un modèle de langage pourrait plutôt apprendre à inférer des justifications non énoncées dans des textes arbitraires. Nous présentons Quiet-STaR, une généralisation de STaR dans laquelle les modèles de langage (LM) apprennent à générer des justifications à chaque token pour expliquer le texte futur, améliorant ainsi leurs prédictions. Nous abordons des défis clés, notamment 1) le coût computationnel de la génération de continuations, 2) le fait que le LM ne sait initialement pas comment générer ou utiliser des pensées internes, et 3) la nécessité de prédire au-delà des tokens individuels suivants. Pour résoudre ces problèmes, nous proposons un algorithme d'échantillonnage parallèle token par token, utilisant des tokens apprenables indiquant le début et la fin d'une pensée, ainsi qu'une technique étendue de teacher-forcing. De manière encourageante, les justifications générées aident de manière disproportionnée à modéliser les tokens difficiles à prédire et améliorent la capacité du LM à répondre directement à des questions difficiles. En particulier, après un pré-entraînement continu d'un LM sur un corpus de texte internet avec Quiet-STaR, nous observons des améliorations en zero-shot sur GSM8K (5,9% → 10,9%) et CommonsenseQA (36,3% → 47,2%), ainsi qu'une amélioration de la perplexité des tokens difficiles dans le texte naturel. Crucialement, ces améliorations ne nécessitent aucun fine-tuning sur ces tâches. Quiet-STaR représente une étape vers des LM capables d'apprendre à raisonner de manière plus générale et scalable.

English

When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al. 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting -- ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present Quiet-STaR, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%rightarrow10.9%) and CommonsenseQA (36.3%rightarrow47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.