Quiet-STaR: Языковые модели могут научиться думать перед тем, как говорить

Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

March 14, 2024

Авторы: Eric Zelikman, Georges Harik, Yijia Shao, Varuna Jayasiri, Nick Haber, Noah D. Goodman

cs.AI

Аннотация

При написании и разговоре люди иногда делают паузы, чтобы подумать. Хотя работы, ориентированные на рассуждения, часто представляли рассуждения как метод ответа на вопросы или выполнения агентных задач, рассуждения подразумеваются практически во всем письменном тексте. Например, это относится к шагам, не указанным между строк доказательства или к теории ума, лежащей в основе разговора. В работе "Self-Taught Reasoner" (STaR, Зеликман и др., 2022) полезное мышление учится путем вывода обоснований из примеров с небольшим числом шагов в вопросно-ответной системе и обучения на тех, которые приводят к правильному ответу. Это очень ограниченная среда - в идеале языковая модель могла бы вместо этого научиться выводить не указанные обоснования в произвольном тексте. Мы представляем Quiet-STaR, обобщение STaR, в котором языковые модели учатся генерировать обоснования для каждого токена для объяснения будущего текста, улучшая свои прогнозы. Мы решаем ключевые проблемы, включая 1) вычислительные затраты на генерацию продолжений, 2) то, что языковая модель изначально не знает, как генерировать или использовать внутренние мысли, и 3) необходимость предсказывать за пределами отдельных следующих токенов. Для решения этих проблем мы предлагаем алгоритм параллельной выборки по токенам, используя обучаемые токены, указывающие начало и конец мысли, а также расширенную технику учителя-принуждения. Обнадеживающе, сгенерированные обоснования пропорционально помогают модели с труднопредсказуемыми токенами и улучшают способность языковой модели прямо отвечать на сложные вопросы. В частности, после продолжения предварительного обучения языковой модели на корпусе интернет-текста с Quiet-STaR, мы обнаруживаем улучшения без обучения на GSM8K (5.9% -> 10.9%) и CommonsenseQA (36.3% -> 47.2%) и наблюдаем улучшение перплексии сложных токенов в естественном тексте. Ключевым является то, что для этих улучшений не требуется дополнительного настройки на эти задачи. Quiet-STaR представляет собой шаг к языковым моделям, которые могут научиться рассуждать более общим и масштабируемым способом.

English

When writing and talking, people sometimes pause to think. Although reasoning-focused works have often framed reasoning as a method of answering questions or completing agentic tasks, reasoning is implicit in almost all written text. For example, this applies to the steps not stated between the lines of a proof or to the theory of mind underlying a conversation. In the Self-Taught Reasoner (STaR, Zelikman et al. 2022), useful thinking is learned by inferring rationales from few-shot examples in question-answering and learning from those that lead to a correct answer. This is a highly constrained setting -- ideally, a language model could instead learn to infer unstated rationales in arbitrary text. We present Quiet-STaR, a generalization of STaR in which LMs learn to generate rationales at each token to explain future text, improving their predictions. We address key challenges, including 1) the computational cost of generating continuations, 2) the fact that the LM does not initially know how to generate or use internal thoughts, and 3) the need to predict beyond individual next tokens. To resolve these, we propose a tokenwise parallel sampling algorithm, using learnable tokens indicating a thought's start and end, and an extended teacher-forcing technique. Encouragingly, generated rationales disproportionately help model difficult-to-predict tokens and improve the LM's ability to directly answer difficult questions. In particular, after continued pretraining of an LM on a corpus of internet text with Quiet-STaR, we find zero-shot improvements on GSM8K (5.9%rightarrow10.9%) and CommonsenseQA (36.3%rightarrow47.2%) and observe a perplexity improvement of difficult tokens in natural text. Crucially, these improvements require no fine-tuning on these tasks. Quiet-STaR marks a step towards LMs that can learn to reason in a more general and scalable way.