Quanto Backtracking è Sufficiente? Esplorando l'Interazione tra SFT e RL nel Migliorare il Ragionamento dei Modelli Linguistici di Grande Dimensione

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

May 30, 2025

Autori: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

cs.AI

Abstract

I recenti progressi nei grandi modelli linguistici (LLM) hanno migliorato efficacemente le loro capacità di ragionamento, in particolare su problemi matematici e logici con risposte verificabili, attraverso tecniche come il fine-tuning supervisionato (SFT) e l'apprendimento per rinforzo (RL). Ricerche precedenti indicano che l'RL internalizza efficacemente le strategie di ricerca, abilitando ragionamenti a catena di pensiero (CoT) lunghi, con il backtracking che emerge naturalmente come una capacità appresa. Tuttavia, i benefici precisi del backtracking, in particolare quanto contribuisca significativamente al miglioramento del ragionamento e l'estensione ottimale del suo utilizzo, rimangono poco compresi. In questo lavoro, indaghiamo sistematicamente le dinamiche tra SFT e RL su otto compiti di ragionamento: Countdown, Sudoku, Arc 1D, Geometria, Rotazione del Cubo Colorato, Funzioni di Lista, Puzzle Zebra e Auto-Riferimento. I nostri risultati evidenziano che brevi sequenze CoT utilizzate nell'SFT come riscaldamento contribuiscono moderatamente all'addestramento RL, rispetto a un RL a freddo; tuttavia, tale contributo diminuisce quando i compiti diventano progressivamente più difficili. Motivati da questa osservazione, costruiamo dataset sintetici che variano sistematicamente nel numero di passaggi di backtracking e conduciamo esperimenti controllati per isolare l'influenza della correttezza (contenuto) o della struttura (frequenza di backtracking). Scopriamo che (1) CoT più lunghi con backtracking inducono generalmente un addestramento RL migliore e più stabile, (2) problemi più complessi con spazi di ricerca più ampi tendono a richiedere un numero maggiore di backtracking durante la fase SFT. Inoltre, dimostriamo attraverso esperimenti su dati distillati che l'addestramento RL è largamente insensibile alla correttezza delle sequenze CoT lunghe, suggerendo che l'RL privilegia i modelli strutturali rispetto alla correttezza del contenuto. Nel complesso, i nostri risultati offrono indicazioni pratiche per progettare strategie di addestramento ottimali per scalare efficacemente il ragionamento negli LLM.

English

Recent breakthroughs in large language models (LLMs) have effectively improved their reasoning abilities, particularly on mathematical and logical problems that have verifiable answers, through techniques such as supervised finetuning (SFT) and reinforcement learning (RL). Prior research indicates that RL effectively internalizes search strategies, enabling long chain-of-thought (CoT) reasoning, with backtracking emerging naturally as a learned capability. However, the precise benefits of backtracking, specifically, how significantly it contributes to reasoning improvements and the optimal extent of its use, remain poorly understood. In this work, we systematically investigate the dynamics between SFT and RL on eight reasoning tasks: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference. Our findings highlight that short CoT sequences used in SFT as a warm-up do have moderate contribution to RL training, compared with cold-start RL; however such contribution diminishes when tasks become increasingly difficult. Motivated by this observation, we construct synthetic datasets varying systematically in the number of backtracking steps and conduct controlled experiments to isolate the influence of either the correctness (content) or the structure (i.e., backtrack frequency). We find that (1) longer CoT with backtracks generally induce better and more stable RL training, (2) more challenging problems with larger search space tend to need higher numbers of backtracks during the SFT stage. Additionally, we demonstrate through experiments on distilled data that RL training is largely unaffected by the correctness of long CoT sequences, suggesting that RL prioritizes structural patterns over content correctness. Collectively, our results offer practical insights into designing optimal training strategies to effectively scale reasoning in LLMs.