SRFT: Одноэтапный метод с контролируемой и подкрепляющей тонкой настройкой для рассуждений

SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning

June 24, 2025

Авторы: Yuqian Fu, Tinghong Chen, Jiajun Chai, Xihuai Wang, Songjun Tu, Guojun Yin, Wei Lin, Qichao Zhang, Yuanheng Zhu, Dongbin Zhao

cs.AI

Аннотация

Крупные языковые модели (LLM) достигли значительных успехов в задачах, требующих рассуждений, однако оптимальная интеграция контролируемой тонкой настройки (Supervised Fine-Tuning, SFT) и обучения с подкреплением (Reinforcement Learning, RL) остается фундаментальной проблемой. Проведя всесторонний анализ распределений токенов, динамики обучения и механизмов интеграции с точки зрения энтропии, мы выявили ключевые различия между этими подходами: SFT вызывает крупномасштабные глобальные изменения в распределениях политик LLM, тогда как RL выполняет более детализированную избирательную оптимизацию, причем энтропия служит важным индикатором эффективности обучения. На основе этих наблюдений мы предлагаем метод Supervised Reinforcement Fine-Tuning (SRFT), который объединяет оба подхода к тонкой настройке в рамках единого этапа с использованием механизмов взвешивания, учитывающих энтропию. Наш подход одновременно применяет SFT и RL для прямой оптимизации LLM с использованием демонстраций и самостоятельных исследований, вместо двухэтапных последовательных методов. Эксперименты показывают, что SRFT достигает средней точности 59,1%, превосходя методы без RL на 9,0% на пяти тестах математического рассуждения и на 10,9% на трех тестах с данными, выходящими за пределы распределения.

English

Large language models (LLMs) have achieved remarkable progress in reasoning tasks, yet the optimal integration of Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) remains a fundamental challenge. Through comprehensive analysis of token distributions, learning dynamics, and integration mechanisms from entropy-based perspectives, we reveal key differences between these paradigms: SFT induces coarse-grained global changes to LLM policy distributions, while RL performs fine-grained selective optimizations, with entropy serving as a critical indicator of training effectiveness. Building on these observations, we propose Supervised Reinforcement Fine-Tuning (SRFT), a single-stage method that unifies both fine-tuning paradigms through entropy-aware weighting mechanisms. Our approach simultaneously applies SFT and RL to directly optimize the LLM using demonstrations and self-exploration rollouts rather than through two-stage sequential methods. Extensive experiments show that SRFT achieves 59.1% average accuracy, outperforming zero-RL methods by 9.0% on five mathematical reasoning benchmarks and 10.9% on three out-of-distribution benchmarks.