Omgekeerd denken maakt LLM's tot betere redeneerders.

Samenvatting

Omgekeerd denken speelt een cruciale rol in menselijke redenering. Mensen kunnen redeneren niet alleen vanuit een probleem naar een oplossing, maar ook andersom, dat wil zeggen, starten vanuit de oplossing en redeneren naar het probleem. Dit verbetert vaak de algehele redeneerprestatie omdat het consistentiecontroles mogelijk maakt tussen hun voorwaartse en achterwaartse denken. Om Grote Taalmodellen (LLM's) in staat te stellen om omgekeerd te denken, introduceren we Omgekeerd-Versterkt Denken (RevThink), een raamwerk bestaande uit gegevensaugmentatie en leermiddelen. In RevThink breiden we de dataset uit door gestructureerd voorwaarts-achterwaarts redeneren te verzamelen van een docentmodel, bestaande uit: (1) de oorspronkelijke vraag, (2) voorwaarts redeneren, (3) achterwaartse vraag, en (4) achterwaarts redeneren. Vervolgens gebruiken we drie doelstellingen om een kleiner studentenmodel op te leiden in een multi-task-leerstijl: (a) genereer voorwaarts redeneren vanuit een vraag, (b) genereer een achterwaartse vraag vanuit een vraag, en (c) genereer achterwaarts redeneren vanuit de achterwaartse vraag. Experimenten over 12 datasets die algemeen inzicht, wiskunde en logisch redeneren bestrijken, tonen een gemiddelde verbetering van 13,53% ten opzichte van de zero-shot-prestatie van het studentenmodel en een verbetering van 6,84% ten opzichte van de sterkste baselines voor kennisdestillatie. Bovendien toont onze methode monster-efficiëntie aan - door slechts 10% van het juiste voorwaartse redeneren uit de trainingsgegevens te gebruiken, presteert het beter dan een standaard fine-tuning methode die is getraind op 10x meer voorwaarts redeneren. RevThink vertoont ook sterke generalisatie naar out-of-distribution held-out datasets.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.

Omgekeerd denken maakt LLM's tot betere redeneerders.

Reverse Thinking Makes LLMs Stronger Reasoners

Samenvatting

Support