前に戻って前進する：言語モデルの推論を向上させるための自己バックトラッキング

要旨

大規模言語モデル（LLM）における遅い思考メカニズムの統合は、OpenAIのo1などのシステムによって示されるように、レベル2のAGIリーソナーを達成するための有望な方法を提供します。ただし、効率の悪い過剰思考や補助報酬モデルへの過度な依存など、いくつかの重要な課題が残っています。これらの制限は、効果的な推論の重要な要素である探索プロセスをLLMが内面化できないことから生じていることを指摘します。この問題に対処するための重要なステップとして、LLMがトレーニングと推論の両方でいつ、どこでバックトラックするかを自律的に決定できるようにすることが挙げられます。このため、我々は、自己バックトラッキングメカニズムを提案し、LLMにトレーニングと推論の両方でバックトラックする能力を備えさせます。このメカニズムは、遅い思考プロセスを自己改善を通じて高速思考に変換することで、推論能力だけでなく効率も向上させます。経験的評価により、提案手法が最適パスの教師付き微調整方法と比較して40％以上の性能向上を達成し、LLMの推論能力を大幅に向上させることが示されました。この研究が、より高度で堅牢なリーソナーの開発に向けた新しい有望な道筋を提示していると考えています。

English

The integration of slow-thinking mechanisms into large language models (LLMs) offers a promising way toward achieving Level 2 AGI Reasoners, as exemplified by systems like OpenAI's o1. However, several significant challenges remain, including inefficient overthinking and an overreliance on auxiliary reward models. We point out that these limitations stem from LLMs' inability to internalize the search process, a key component of effective reasoning. A critical step toward addressing this issue is enabling LLMs to autonomously determine when and where to backtrack, a fundamental operation in traditional search algorithms. To this end, we propose a self-backtracking mechanism that equips LLMs with the ability to backtrack during both training and inference. This mechanism not only enhances reasoning ability but also efficiency by transforming slow-thinking processes into fast-thinking through self-improvement. Empirical evaluations demonstrate that our proposal significantly enhances the reasoning capabilities of LLMs, achieving a performance gain of over 40 percent compared to the optimal-path supervised fine-tuning method. We believe this study introduces a novel and promising pathway for developing more advanced and robust Reasoners.

前に戻って前進する：言語モデルの推論を向上させるための自己バックトラッキング

Step Back to Leap Forward: Self-Backtracking for Boosting Reasoning of Language Models

要旨

Summary

Support

Support