MetaLadder：類推問題推論転移による数学的解法品質の向上

MetaLadder: Ascending Mathematical Solution Quality via Analogical-Problem Reasoning Transfer

March 19, 2025

著者: Honglin Lin, Zhuoshi Pan, Yu Li, Qizhi Pei, Xin Gao, Mengzhang Cai, Conghui He, Lijun Wu

cs.AI

要旨

大規模言語モデル（LLMs）は、数学的推論タスクを解決する上で有望な能力を示しており、Chain-of-Thought（CoT）データを活用して回答生成を導く重要な要素として利用しています。現在のパラダイムでは、通常、与えられた問題に対して直接CoTと回答を生成しますが、これは人間の問題解決戦略とはある程度異なります。人間はしばしば、類似した事例を思い出し、その解決策を活用して現在のタスクを推論します。この認知プロセスに着想を得て、我々はMetaLadderという新しいフレームワークを提案します。MetaLadderは、LLMsに対して、ターゲット問題に取り組む前に、構造的または意味的に類似した問題であるメタ問題とそのCoT解決策を思い出し、反映することを明示的に促します。さらに、問題を再記述するメカニズムを導入し、元の質問を再生成することでモデルのターゲット問題の理解を向上させ、推論精度をさらに高めます。これにより、モデルは類推問題からの推論転移を達成し、人間のような「例から学ぶ」能力と汎化能力を模倣することができます。数学的ベンチマークでの広範な実験により、我々のMetaLadderがLLMsの問題解決精度を大幅に向上させ、標準的なCoTベースの手法（10.3%の精度向上）や他の手法を大きく上回ることが実証されました。我々のコードとデータはhttps://github.com/LHL3341/MetaLadderで公開されています。

English

Large Language Models (LLMs) have demonstrated promising capabilities in solving mathematical reasoning tasks, leveraging Chain-of-Thought (CoT) data as a vital component in guiding answer generation. Current paradigms typically generate CoT and answers directly for a given problem, diverging from human problem-solving strategies to some extent. Humans often solve problems by recalling analogous cases and leveraging their solutions to reason about the current task. Inspired by this cognitive process, we propose MetaLadder, a novel framework that explicitly prompts LLMs to recall and reflect on meta-problems, those structurally or semantically analogous problems, alongside their CoT solutions before addressing the target problem. Additionally, we introduce a problem-restating mechanism to enhance the model's comprehension of the target problem by regenerating the original question, which further improves reasoning accuracy. Therefore, the model can achieve reasoning transfer from analogical problems, mimicking human-like "learning from examples" and generalization abilities. Extensive experiments on mathematical benchmarks demonstrate that our MetaLadder significantly boosts LLMs' problem-solving accuracy, largely outperforming standard CoT-based methods (10.3\% accuracy gain) and other methods. Our code and data has been released at https://github.com/LHL3341/MetaLadder.