Sulla non-separabilità dell'addestramento supervisionato fine e dell'apprendimento per rinforzo nel post-addestramento
On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
January 12, 2026
Autori: Xueyan Niu, Bo Bai, Wei Han, Weixi Zhang
cs.AI
Abstract
La fase di post-addestramento dei grandi modelli linguistici combina abitualmente il fine-tuning supervisionato (SFT) con l'apprendimento per rinforzo (RL). Questi due metodi presentano obiettivi diversi: l'SFT minimizza la perdita di entropia incrociata tra gli output del modello e le risposte esperte, mentre l'RL massimizza i segnali di ricompensa derivati da preferenze umane o verificatori basati su regole. I moderni modelli di ragionamento hanno ampiamente adottato la pratica di alternare l'addestramento SFT e RL. Tuttavia, non esiste una spiegazione teorica sulla possibilità di disaccoppiarli. Dimostriamo che il disaccoppiamento è impossibile in entrambi gli ordini: (1) accoppiamento SFT-poiché-RL: l'RL aumenta la perdita SFT in condizioni di ottimalità SFT, e (2) accoppiamento RL-poiché-SFT: l'SFT riduce la ricompensa ottenuta tramite RL. Esperimenti su Qwen3-0.6B confermano il degrado previsto, verificando che SFT e RL non possono essere separati senza una perdita delle prestazioni precedenti nel post-addestramento.
English
Post-training of large language models routinely interleaves supervised fine-tuning (SFT) with reinforcement learning (RL). These two methods have different objectives: SFT minimizes the cross-entropy loss between model outputs and expert responses, while RL maximizes reward signals derived from human preferences or rule-based verifiers. Modern reasoning models have widely adopted the practice of alternating SFT and RL training. However, there is no theoretical account of whether they can be decoupled. We prove that decoupling is impossible in either order: (1) SFT-then-RL coupling: RL increases SFT loss under SFT optimality and (2) RL-then-SFT coupling: SFT lowers the reward achieved by RL. Experiments on Qwen3-0.6B confirm the predicted degradation, verifying that SFT and RL cannot be separated without loss of prior performance in the post-training