Обратное мышление делает LLM более сильными рассудителями.

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

Авторы: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

Аннотация

Обратное мышление играет ключевую роль в человеческом мышлении. Люди могут рассуждать не только от проблемы к решению, но и наоборот, то есть начинать с решения и рассуждать к проблеме. Это часто улучшает общую производительность мышления, поскольку позволяет проводить проверку согласованности между их прямым и обратным мышлением. Для того чтобы обеспечить возможность крупным языковым моделям (LLMs) выполнять обратное мышление, мы представляем Reverse-Enhanced Thinking (RevThink), фреймворк, состоящий из аугментации данных и целей обучения. В RevThink мы расширяем набор данных, собирая структурированные прямые и обратные рассуждения от модели-учителя, включающие: (1) исходный вопрос, (2) прямое рассуждение, (3) обратный вопрос и (4) обратное рассуждение. Затем мы используем три цели для обучения более маленькой модели-ученика в многозадачном режиме обучения: (a) генерация прямого рассуждения из вопроса, (b) генерация обратного вопроса из вопроса и (c) генерация обратного рассуждения из обратного вопроса. Эксперименты на 12 наборах данных, охватывающих здравый смысл, математику и логическое мышление, показывают среднее улучшение на 13,53% по сравнению с нулевой производительностью модели-ученика и на 6,84% по сравнению с самыми сильными базовыми моделями дистилляции знаний. Более того, наш метод демонстрирует эффективность использования образцов - используя только 10% правильных прямых рассуждений из обучающих данных, он превосходит стандартный метод донастройки, обученный на 10 раз большем количестве прямых рассуждений. RevThink также проявляет сильную обобщаемость на удерживаемых наборах данных, не входящих в распределение.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.