Сколько откатов достаточно? Исследование взаимодействия SFT и RL в улучшении логического мышления больших языковых моделей

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

May 30, 2025

Авторы: Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

cs.AI

Аннотация

Недавние прорывы в области больших языковых моделей (LLM) существенно улучшили их способности к рассуждению, особенно в решении математических и логических задач с проверяемыми ответами, благодаря таким методам, как контролируемое дообучение (SFT) и обучение с подкреплением (RL). Предыдущие исследования показывают, что RL эффективно усваивает стратегии поиска, позволяя проводить длинные цепочки рассуждений (CoT), причем возврат (backtracking) естественным образом возникает как освоенная способность. Однако точные преимущества возврата, в частности, насколько значительно он способствует улучшению рассуждений и оптимальная степень его использования, остаются недостаточно изученными. В данной работе мы систематически исследуем динамику между SFT и RL на восьми задачах рассуждения: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles и Self Reference. Наши результаты показывают, что короткие последовательности CoT, используемые в SFT в качестве разминки, действительно вносят умеренный вклад в обучение RL по сравнению с обучением RL с нуля; однако этот вклад уменьшается, когда задачи становятся все более сложными. Вдохновленные этим наблюдением, мы создаем синтетические наборы данных, систематически варьируя количество шагов возврата, и проводим контролируемые эксперименты, чтобы изолировать влияние либо правильности (содержания), либо структуры (например, частоты возврата). Мы обнаруживаем, что (1) более длинные CoT с возвратами, как правило, способствуют более эффективному и стабильному обучению RL, (2) более сложные задачи с большим пространством поиска требуют большего количества возвратов на этапе SFT. Кроме того, мы демонстрируем в экспериментах с дистиллированными данными, что обучение RL практически не зависит от правильности длинных последовательностей CoT, что указывает на то, что RL уделяет приоритетное внимание структурным паттернам, а не правильности содержания. В совокупности наши результаты предлагают практические рекомендации по разработке оптимальных стратегий обучения для эффективного масштабирования рассуждений в LLM.

English

Recent breakthroughs in large language models (LLMs) have effectively improved their reasoning abilities, particularly on mathematical and logical problems that have verifiable answers, through techniques such as supervised finetuning (SFT) and reinforcement learning (RL). Prior research indicates that RL effectively internalizes search strategies, enabling long chain-of-thought (CoT) reasoning, with backtracking emerging naturally as a learned capability. However, the precise benefits of backtracking, specifically, how significantly it contributes to reasoning improvements and the optimal extent of its use, remain poorly understood. In this work, we systematically investigate the dynamics between SFT and RL on eight reasoning tasks: Countdown, Sudoku, Arc 1D, Geometry, Color Cube Rotation, List Functions, Zebra Puzzles, and Self Reference. Our findings highlight that short CoT sequences used in SFT as a warm-up do have moderate contribution to RL training, compared with cold-start RL; however such contribution diminishes when tasks become increasingly difficult. Motivated by this observation, we construct synthetic datasets varying systematically in the number of backtracking steps and conduct controlled experiments to isolate the influence of either the correctness (content) or the structure (i.e., backtrack frequency). We find that (1) longer CoT with backtracks generally induce better and more stable RL training, (2) more challenging problems with larger search space tend to need higher numbers of backtracks during the SFT stage. Additionally, we demonstrate through experiments on distilled data that RL training is largely unaffected by the correctness of long CoT sequences, suggesting that RL prioritizes structural patterns over content correctness. Collectively, our results offer practical insights into designing optimal training strategies to effectively scale reasoning in LLMs.