MetaLadder : Amélioration progressive de la qualité des solutions mathématiques via le transfert de raisonnement par problèmes analogiques

MetaLadder: Ascending Mathematical Solution Quality via Analogical-Problem Reasoning Transfer

March 19, 2025

Auteurs: Honglin Lin, Zhuoshi Pan, Yu Li, Qizhi Pei, Xin Gao, Mengzhang Cai, Conghui He, Lijun Wu

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des capacités prometteuses dans la résolution de tâches de raisonnement mathématique, en s'appuyant sur les données de chaîne de pensée (Chain-of-Thought, CoT) comme composant essentiel pour guider la génération de réponses. Les paradigmes actuels génèrent généralement directement la CoT et les réponses pour un problème donné, s'écartant dans une certaine mesure des stratégies de résolution de problèmes humaines. Les humains résolvent souvent des problèmes en rappelant des cas analogues et en exploitant leurs solutions pour raisonner sur la tâche actuelle. Inspirés par ce processus cognitif, nous proposons MetaLadder, un cadre novateur qui incite explicitement les LLMs à rappeler et à réfléchir sur des méta-problèmes, c'est-à-dire des problèmes structurellement ou sémantiquement analogues, ainsi que sur leurs solutions CoT, avant de s'attaquer au problème cible. De plus, nous introduisons un mécanisme de reformulation des problèmes pour améliorer la compréhension du modèle du problème cible en régénérant la question originale, ce qui améliore encore la précision du raisonnement. Ainsi, le modèle peut réaliser un transfert de raisonnement à partir de problèmes analogiques, imitant les capacités humaines d'"apprentissage par l'exemple" et de généralisation. Des expériences approfondies sur des benchmarks mathématiques démontrent que notre MetaLadder améliore significativement la précision de résolution de problèmes des LLMs, surpassant largement les méthodes standard basées sur la CoT (gain de précision de 10,3%) et d'autres méthodes. Notre code et nos données ont été publiés à l'adresse https://github.com/LHL3341/MetaLadder.

English

Large Language Models (LLMs) have demonstrated promising capabilities in solving mathematical reasoning tasks, leveraging Chain-of-Thought (CoT) data as a vital component in guiding answer generation. Current paradigms typically generate CoT and answers directly for a given problem, diverging from human problem-solving strategies to some extent. Humans often solve problems by recalling analogous cases and leveraging their solutions to reason about the current task. Inspired by this cognitive process, we propose MetaLadder, a novel framework that explicitly prompts LLMs to recall and reflect on meta-problems, those structurally or semantically analogous problems, alongside their CoT solutions before addressing the target problem. Additionally, we introduce a problem-restating mechanism to enhance the model's comprehension of the target problem by regenerating the original question, which further improves reasoning accuracy. Therefore, the model can achieve reasoning transfer from analogical problems, mimicking human-like "learning from examples" and generalization abilities. Extensive experiments on mathematical benchmarks demonstrate that our MetaLadder significantly boosts LLMs' problem-solving accuracy, largely outperforming standard CoT-based methods (10.3\% accuracy gain) and other methods. Our code and data has been released at https://github.com/LHL3341/MetaLadder.