MetaLadder: Stijgende Kwaliteit van Wiskundige Oplossingen via Overdracht van Analogisch-Probleem Redeneren

MetaLadder: Ascending Mathematical Solution Quality via Analogical-Problem Reasoning Transfer

March 19, 2025

Auteurs: Honglin Lin, Zhuoshi Pan, Yu Li, Qizhi Pei, Xin Gao, Mengzhang Cai, Conghui He, Lijun Wu

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben veelbelovende capaciteiten getoond bij het oplossen van wiskundige redeneertaken, waarbij Chain-of-Thought (CoT) data een cruciale rol speelt bij het begeleiden van het genereren van antwoorden. Huidige paradigma's genereren doorgaans direct CoT en antwoorden voor een gegeven probleem, wat enigszins afwijkt van menselijke probleemoplossingsstrategieën. Mensen lossen problemen vaak op door analoge gevallen te herinneren en hun oplossingen te gebruiken om over de huidige taak na te denken. Geïnspireerd door dit cognitieve proces stellen we MetaLadder voor, een nieuw raamwerk dat LLMs expliciet aanmoedigt om meta-problemen, problemen die structureel of semantisch analoog zijn, samen met hun CoT-oplossingen te herinneren en te overdenken voordat het doelprobleem wordt aangepakt. Daarnaast introduceren we een mechanisme voor het herformuleren van problemen om het begrip van het model van het doelprobleem te verbeteren door de oorspronkelijke vraag opnieuw te genereren, wat de nauwkeurigheid van het redeneren verder verbetert. Hierdoor kan het model redeneertransfer bereiken vanuit analoge problemen, wat menselijk "leren van voorbeelden" en generalisatievermogen nabootst. Uitgebreide experimenten op wiskundige benchmarks tonen aan dat onze MetaLadder de probleemoplossingsnauwkeurigheid van LLMs aanzienlijk verbetert, waarbij het standaard CoT-gebaseerde methoden (10,3% nauwkeurigheidswinst) en andere methoden ruimschoots overtreft. Onze code en gegevens zijn vrijgegeven op https://github.com/LHL3341/MetaLadder.

English

Large Language Models (LLMs) have demonstrated promising capabilities in solving mathematical reasoning tasks, leveraging Chain-of-Thought (CoT) data as a vital component in guiding answer generation. Current paradigms typically generate CoT and answers directly for a given problem, diverging from human problem-solving strategies to some extent. Humans often solve problems by recalling analogous cases and leveraging their solutions to reason about the current task. Inspired by this cognitive process, we propose MetaLadder, a novel framework that explicitly prompts LLMs to recall and reflect on meta-problems, those structurally or semantically analogous problems, alongside their CoT solutions before addressing the target problem. Additionally, we introduce a problem-restating mechanism to enhance the model's comprehension of the target problem by regenerating the original question, which further improves reasoning accuracy. Therefore, the model can achieve reasoning transfer from analogical problems, mimicking human-like "learning from examples" and generalization abilities. Extensive experiments on mathematical benchmarks demonstrate that our MetaLadder significantly boosts LLMs' problem-solving accuracy, largely outperforming standard CoT-based methods (10.3\% accuracy gain) and other methods. Our code and data has been released at https://github.com/LHL3341/MetaLadder.