Over de Niet-ontkoppeling van Gesuperviseerd Fine-tuning en Versterkend Leren in Post-training
On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
January 12, 2026
Auteurs: Xueyan Niu, Bo Bai, Wei Han, Weixi Zhang
cs.AI
Samenvatting
De na-opleiding van grote taalmodellen verweeft routinematig supervised fine-tuning (SFT) met reinforcement learning (RL). Deze twee methoden hebben verschillende doelstellingen: SFT minimaliseert het kruis-entropieverlies tussen modeloutputs en expertantwoorden, terwijl RL beloningssignalen maximaliseert die zijn afgeleid van menselijke voorkeuren of op regels gebaseerde verifiers. Moderne redeneermodellen hebben de praktijk van het afwisselen van SFT- en RL-training wijdverbreid overgenomen. Er bestaat echter geen theoretische verklaring voor of ze kunnen worden ontkoppeld. Wij bewijzen dat ontkoppeling in geen van beide volgordes mogelijk is: (1) SFT-dan-RL-koppeling: RL verhoogt het SFT-verlies onder SFT-optimaliteit en (2) RL-dan-SFT-koppeling: SFT verlaagt de door RL behaalde beloning. Experimenten met Qwen3-0.6B bevestigen de voorspelde prestatievermindering, wat verifieert dat SFT en RL niet kunnen worden gescheiden zonder verlies van eerdere prestaties in de na-opleiding.
English
Post-training of large language models routinely interleaves supervised fine-tuning (SFT) with reinforcement learning (RL). These two methods have different objectives: SFT minimizes the cross-entropy loss between model outputs and expert responses, while RL maximizes reward signals derived from human preferences or rule-based verifiers. Modern reasoning models have widely adopted the practice of alternating SFT and RL training. However, there is no theoretical account of whether they can be decoupled. We prove that decoupling is impossible in either order: (1) SFT-then-RL coupling: RL increases SFT loss under SFT optimality and (2) RL-then-SFT coupling: SFT lowers the reward achieved by RL. Experiments on Qwen3-0.6B confirm the predicted degradation, verifying that SFT and RL cannot be separated without loss of prior performance in the post-training