どれだけのバックトラッキングが必要か？LLMの推論能力向上におけるSFTとRLの相互作用の探求

要旨

大規模言語モデル（LLM）における最近のブレークスルーは、特に検証可能な答えを持つ数学的・論理的問題において、教師ありファインチューニング（SFT）や強化学習（RL）といった技術を通じて、推論能力を効果的に向上させてきました。先行研究によれば、RLは探索戦略を内部化し、長い連鎖的思考（CoT）推論を可能にし、バックトラッキングが自然に学習された能力として現れることが示されています。しかし、バックトラッキングの具体的な利点、特にそれが推論の改善にどの程度寄与し、その使用の最適な範囲がどこにあるかについては、まだ十分に理解されていません。本研究では、Countdown、Sudoku、Arc 1D、Geometry、Color Cube Rotation、List Functions、Zebra Puzzles、Self Referenceという8つの推論タスクにおいて、SFTとRLの間のダイナミクスを体系的に調査します。我々の調査結果は、SFTでウォームアップとして使用される短いCoTシーケンスが、コールドスタートのRLと比較して、RLトレーニングに中程度の貢献をする一方で、タスクが難しくなるにつれてその貢献が減少することを明らかにしています。この観察に基づき、バックトラッキングステップの数を体系的に変化させた合成データセットを構築し、正しさ（内容）または構造（すなわち、バックトラッキング頻度）の影響を分離するための制御実験を行いました。その結果、(1) バックトラックを含む長いCoTは、一般的により良いかつ安定したRLトレーニングを誘導し、(2) 探索空間が大きいより難しい問題ほど、SFT段階でより多くのバックトラックを必要とする傾向があることがわかりました。さらに、蒸留データを用いた実験を通じて、RLトレーニングが長いCoTシーケンスの正しさにほとんど影響されないことを示し、RLが内容の正しさよりも構造的なパターンを優先することを示唆しています。全体として、我々の結果は、LLMの推論を効果的にスケールするための最適なトレーニング戦略を設計する上で実用的な洞察を提供します。

English

Recent breakthroughs in large language models (LLMs) have effectively improved their reasoning abilities, particularly on mathematical and logical problems that have verifiable answers, through techniques such as supervised finetuning (SFT) and reinforcement learning (RL). Prior research indicates that RL effectively internalizes search strategies, enabling long chain-of-thought (CoT) reasoning, with backtracking emerging naturally as a learned capability. However, the precise benefits of backtracking, specifically, how significantly it contributes to reasoning improvements and the optimal extent of its use, remain poorly understood. In this work, we systematically investigate the dynamics between SFT and RL on eight reasoning tasks: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference. Our findings highlight that short CoT sequences used in SFT as a warm-up do have moderate contribution to RL training, compared with cold-start RL; however such contribution diminishes when tasks become increasingly difficult. Motivated by this observation, we construct synthetic datasets varying systematically in the number of backtracking steps and conduct controlled experiments to isolate the influence of either the correctness (content) or the structure (i.e., backtrack frequency). We find that (1) longer CoT with backtracks generally induce better and more stable RL training, (2) more challenging problems with larger search space tend to need higher numbers of backtracks during the SFT stage. Additionally, we demonstrate through experiments on distilled data that RL training is largely unaffected by the correctness of long CoT sequences, suggesting that RL prioritizes structural patterns over content correctness. Collectively, our results offer practical insights into designing optimal training strategies to effectively scale reasoning in LLMs.

どれだけのバックトラッキングが必要か？LLMの推論能力向上におけるSFTとRLの相互作用の探求

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

要旨

Support