La pensée inversée rend les LLMs plus forts en raisonnement.

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

Auteurs: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

Résumé

La pensée inversée joue un rôle crucial dans le raisonnement humain. Les humains peuvent raisonner non seulement d'un problème vers une solution, mais aussi à l'inverse, c'est-à-dire commencer par la solution et raisonner vers le problème. Cela améliore souvent les performances de raisonnement globales car cela permet des vérifications de cohérence entre leur pensée en avant et en arrière. Pour permettre aux Grands Modèles de Langage (GML) d'effectuer une pensée inversée, nous introduisons la Pensée Inversée Améliorée (RevThink), un cadre composé d'augmentation de données et d'objectifs d'apprentissage. Dans RevThink, nous augmentons l'ensemble de données en collectant un raisonnement structuré avant-arrière à partir d'un modèle enseignant, comprenant : (1) la question originale, (2) le raisonnement en avant, (3) la question en arrière et (4) le raisonnement en arrière. Nous utilisons ensuite trois objectifs pour entraîner un modèle étudiant plus petit de manière d'apprentissage multi-tâche : (a) générer un raisonnement en avant à partir d'une question, (b) générer une question en arrière à partir d'une question, et (c) générer un raisonnement en arrière à partir de la question en arrière. Des expériences menées sur 12 ensembles de données couvrant le bon sens, les mathématiques et le raisonnement logique montrent une amélioration moyenne de 13,53 % par rapport aux performances sans entraînement du modèle étudiant et une amélioration de 6,84 % par rapport aux meilleures lignes de base de distillation de connaissances. De plus, notre méthode démontre une efficacité d'échantillonnage - en n'utilisant que 10 % du raisonnement en avant correct des données d'entraînement, elle surpasse une méthode standard de fine-tuning entraînée sur 10 fois plus de raisonnement en avant. RevThink présente également une forte capacité de généralisation aux ensembles de données détenus hors distribution.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.