Quiet-STaR: Modelos de Linguagem Podem Ensinar a Si Mesmos a Pensar Antes de Falar

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

March 14, 2024

Autores: Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman

cs.AI

Resumo

Ao escrever e falar, as pessoas às vezes fazem pausas para pensar. Embora trabalhos focados em raciocínio frequentemente o enquadrem como um método para responder perguntas ou completar tarefas agentivas, o raciocínio está implícito em quase todo texto escrito. Por exemplo, isso se aplica aos passos não declarados entre as linhas de uma prova ou à teoria da mente subjacente a uma conversa. No Self-Taught Reasoner (STaR, Zelikman et al. 2022), o pensamento útil é aprendido inferindo racionalidades a partir de exemplos de poucos disparos em tarefas de questionamento e aprendendo com aquelas que levam a uma resposta correta. Este é um cenário altamente restrito — idealmente, um modelo de linguagem poderia, em vez disso, aprender a inferir racionalidades não declaradas em textos arbitrários. Apresentamos o Quiet-STaR, uma generalização do STaR na qual modelos de linguagem aprendem a gerar racionalidades em cada token para explicar textos futuros, melhorando suas previsões. Abordamos desafios-chave, incluindo 1) o custo computacional de gerar continuações, 2) o fato de que o modelo de linguagem inicialmente não sabe como gerar ou usar pensamentos internos, e 3) a necessidade de prever além de tokens individuais seguintes. Para resolver isso, propomos um algoritmo de amostragem paralela por token, usando tokens aprendíveis que indicam o início e o fim de um pensamento, e uma técnica estendida de teacher-forcing. De forma encorajadora, as racionalidades geradas ajudam desproporcionalmente o modelo a prever tokens difíceis e melhoram a capacidade do modelo de linguagem de responder diretamente a perguntas difíceis. Em particular, após o pré-treinamento contínuo de um modelo de linguagem em um corpus de texto da internet com o Quiet-STaR, encontramos melhorias zero-shot no GSM8K (5,9% → 10,9%) e no CommonsenseQA (36,3% → 47,2%) e observamos uma melhoria na perplexidade de tokens difíceis em texto natural. Crucialmente, essas melhorias não exigem ajuste fino nessas tarefas. O Quiet-STaR representa um passo em direção a modelos de linguagem que podem aprender a raciocinar de forma mais geral e escalável.

English

When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al. 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting -- ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present Quiet-STaR, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%rightarrow10.9%) and CommonsenseQA (36.3%rightarrow47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.