¿Cuánto retroceso es suficiente? Explorando la interacción entre SFT y RL en la mejora del razonamiento de los LLM

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

May 30, 2025

Autores: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han mejorado significativamente sus capacidades de razonamiento, particularmente en problemas matemáticos y lógicos con respuestas verificables, mediante técnicas como el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL). Investigaciones previas indican que el RL internaliza efectivamente estrategias de búsqueda, permitiendo cadenas de razonamiento largas (CoT), donde el retroceso (backtracking) emerge naturalmente como una habilidad aprendida. Sin embargo, los beneficios precisos del retroceso, específicamente cuánto contribuye a las mejoras en el razonamiento y el grado óptimo de su uso, siguen siendo poco comprendidos. En este trabajo, investigamos sistemáticamente la dinámica entre el SFT y el RL en ocho tareas de razonamiento: Countdown, Sudoku, Arc 1D, Geometría, Rotación de Cubo de Colores, Funciones de Lista, Acertijos de Zebra y Autorreferencia. Nuestros hallazgos destacan que las secuencias cortas de CoT utilizadas en el SFT como calentamiento tienen una contribución moderada al entrenamiento de RL, en comparación con un RL sin preparación; sin embargo, dicha contribución disminuye cuando las tareas se vuelven más difíciles. Motivados por esta observación, construimos conjuntos de datos sintéticos que varían sistemáticamente en el número de pasos de retroceso y realizamos experimentos controlados para aislar la influencia de la corrección (contenido) o la estructura (frecuencia de retroceso). Descubrimos que (1) las secuencias de CoT más largas con retrocesos generalmente inducen un entrenamiento de RL mejor y más estable, y (2) los problemas más desafiantes con espacios de búsqueda más grandes tienden a necesitar un mayor número de retrocesos durante la etapa de SFT. Además, demostramos mediante experimentos con datos destilados que el entrenamiento de RL no se ve mayormente afectado por la corrección de las secuencias largas de CoT, lo que sugiere que el RL prioriza los patrones estructurales sobre la corrección del contenido. En conjunto, nuestros resultados ofrecen ideas prácticas para diseñar estrategias de entrenamiento óptimas que escalen efectivamente el razonamiento en los LLMs.

English

Recent breakthroughs in large language models (LLMs) have effectively improved their reasoning abilities, particularly on mathematical and logical problems that have verifiable answers, through techniques such as supervised finetuning (SFT) and reinforcement learning (RL). Prior research indicates that RL effectively internalizes search strategies, enabling long chain-of-thought (CoT) reasoning, with backtracking emerging naturally as a learned capability. However, the precise benefits of backtracking, specifically, how significantly it contributes to reasoning improvements and the optimal extent of its use, remain poorly understood. In this work, we systematically investigate the dynamics between SFT and RL on eight reasoning tasks: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference. Our findings highlight that short CoT sequences used in SFT as a warm-up do have moderate contribution to RL training, compared with cold-start RL; however such contribution diminishes when tasks become increasingly difficult. Motivated by this observation, we construct synthetic datasets varying systematically in the number of backtracking steps and conduct controlled experiments to isolate the influence of either the correctness (content) or the structure (i.e., backtrack frequency). We find that (1) longer CoT with backtracks generally induce better and more stable RL training, (2) more challenging problems with larger search space tend to need higher numbers of backtracks during the SFT stage. Additionally, we demonstrate through experiments on distilled data that RL training is largely unaffected by the correctness of long CoT sequences, suggesting that RL prioritizes structural patterns over content correctness. Collectively, our results offer practical insights into designing optimal training strategies to effectively scale reasoning in LLMs.