Umgekehrtes Denken macht LLMs zu stärkeren Denkern.

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

Autoren: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

Zusammenfassung

Das umgekehrte Denken spielt eine entscheidende Rolle im menschlichen Denken. Menschen können nicht nur von einem Problem zu einer Lösung schlussfolgern, sondern auch umgekehrt, d.h. von der Lösung aus zum Problem gelangen. Dies verbessert oft die Gesamtleistung des Denkens, da es Konsistenzprüfungen zwischen ihrem Vorwärts- und Rückwärtsdenken ermöglicht. Um Große Sprachmodelle (LLMs) dazu zu befähigen, umgekehrtes Denken durchzuführen, stellen wir Reverse-Enhanced Thinking (RevThink) vor, ein Framework, das aus Datenanreicherung und Lernzielen besteht. In RevThink erweitern wir den Datensatz, indem wir strukturiertes Vorwärts-Rückwärts-Denken von einem Lehrmodell sammeln, bestehend aus: (1) der ursprünglichen Frage, (2) Vorwärtsdenken, (3) Rückwärtsfrage und (4) Rückwärtsdenken. Anschließend verwenden wir drei Ziele, um ein kleineres Schülermodell in einem Multi-Task-Learning-Stil zu trainieren: (a) Vorwärtsdenken aus einer Frage generieren, (b) eine Rückwärtsfrage aus einer Frage generieren und (c) Rückwärtsdenken aus der Rückwärtsfrage generieren. Experimente über 12 Datensätze, die Allgemeinwissen, Mathematik und logisches Denken abdecken, zeigen eine durchschnittliche Verbesserung von 13,53% gegenüber der Nullschussleistung des Schülermodells und eine Verbesserung von 6,84% gegenüber den stärksten Wissensverdichtungs-Baselines. Darüber hinaus zeigt unsere Methode eine Muster-Effizienz - unter Verwendung von nur 10% des korrekten Vorwärtsdenkens aus den Trainingsdaten übertrifft sie eine Standard-Feinabstimmungsmethode, die auf 10-mal mehr Vorwärtsdenken trainiert wurde. RevThink zeigt auch eine starke Verallgemeinerung auf außerhalb der Verteilung gehaltene Datensätze.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.