SRFT: 推論のための教師あり学習と強化学習を組み合わせた単一段階の微調整手法

要旨

大規模言語モデル（LLMs）は推論タスクにおいて顕著な進歩を遂げているが、教師ありファインチューニング（SFT）と強化学習（RL）の最適な統合は依然として根本的な課題である。エントロピーに基づく視点からトークン分布、学習ダイナミクス、および統合メカニズムを包括的に分析することで、これらのパラダイム間の重要な差異を明らかにした：SFTはLLMのポリシー分布に粗粒度のグローバルな変化をもたらす一方、RLは細粒度の選択的最適化を実行し、エントロピーはトレーニング効果の重要な指標として機能する。これらの観察に基づき、エントロピーを考慮した重み付けメカニズムを通じて両方のファインチューニングパラダイムを統合する単一段階の手法である「教師あり強化学習ファインチューニング（SRFT）」を提案する。本手法は、二段階の逐次的手法ではなく、デモンストレーションと自己探索のロールアウトを用いてLLMを直接最適化するためにSFTとRLを同時に適用する。大規模な実験により、SRFTは平均59.1%の精度を達成し、5つの数学的推論ベンチマークにおいてゼロRL手法を9.0%、3つの分布外ベンチマークにおいて10.9%上回ることが示された。

English

Large language models (LLMs) have achieved remarkable progress in reasoning tasks, yet the optimal integration of Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) remains a fundamental challenge. Through comprehensive analysis of token distributions, learning dynamics, and integration mechanisms from entropy-based perspectives, we reveal key differences between these paradigms: SFT induces coarse-grained global changes to LLM policy distributions, while RL performs fine-grained selective optimizations, with entropy serving as a critical indicator of training effectiveness. Building on these observations, we propose Supervised Reinforcement Fine-Tuning (SRFT), a single-stage method that unifies both fine-tuning paradigms through entropy-aware weighting mechanisms. Our approach simultaneously applies SFT and RL to directly optimize the LLM using demonstrations and self-exploration rollouts rather than through two-stage sequential methods. Extensive experiments show that SRFT achieves 59.1% average accuracy, outperforming zero-RL methods by 9.0% on five mathematical reasoning benchmarks and 10.9% on three out-of-distribution benchmarks.

SRFT: 推論のための教師あり学習と強化学習を組み合わせた単一段階の微調整手法

SRFT: A Single-Stage Method with Supervised and Reinforcement Fine-Tuning for Reasoning

要旨

Support