Sobre o Não Desacoplamento do Ajuste Fino Supervisionado e do Aprendizado por Reforço no Pós-treinamento

On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training

January 12, 2026

Autores: Xueyan Niu, Bo Bai, Wei Han, Weixi Zhang

cs.AI

Resumo

O pós-treinamento de grandes modelos de linguagem rotineiramente intercala o ajuste fino supervisionado (SFT) com o aprendizado por reforço (RL). Esses dois métodos possuem objetivos diferentes: o SFT minimiza a perda de entropia cruzada entre as saídas do modelo e as respostas de especialistas, enquanto o RL maximiza os sinais de recompensa derivados de preferências humanas ou verificadores baseados em regras. Os modelos modernos de raciocínio adotaram amplamente a prática de alternar o treinamento SFT e RL. No entanto, não há um embasamento teórico sobre se eles podem ser desacoplados. Provamos que o desacoplamento é impossível em qualquer ordem: (1) Acoplamento SFT-depois-RL: o RL aumenta a perda do SFT sob otimalidade do SFT e (2) Acoplamento RL-depois-SFT: o SFT reduz a recompensa alcançada pelo RL. Experimentos no Qwen3-0.6B confirmam a degradação prevista, verificando que o SFT e o RL não podem ser separados sem perda do desempenho anterior no pós-treinamento.

English

Post-training of large language models routinely interleaves supervised fine-tuning (SFT) with reinforcement learning (RL). These two methods have different objectives: SFT minimizes the cross-entropy loss between model outputs and expert responses, while RL maximizes reward signals derived from human preferences or rule-based verifiers. Modern reasoning models have widely adopted the practice of alternating SFT and RL training. However, there is no theoretical account of whether they can be decoupled. We prove that decoupling is impossible in either order: (1) SFT-then-RL coupling: RL increases SFT loss under SFT optimality and (2) RL-then-SFT coupling: SFT lowers the reward achieved by RL. Experiments on Qwen3-0.6B confirm the predicted degradation, verifying that SFT and RL cannot be separated without loss of prior performance in the post-training