Sobre el No Desacoplamiento del Ajuste Fino Supervisado y el Aprendizaje por Refuerzo en el Post-entrenamiento
On the Non-decoupling of Supervised Fine-tuning and Reinforcement Learning in Post-training
January 12, 2026
Autores: Xueyan Niu, Bo Bai, Wei Han, Weixi Zhang
cs.AI
Resumen
La optimización posterior de modelos de lenguaje grandes alterna rutinariamente el ajuste fino supervisado (SFT) con el aprendizaje por refuerzo (RL). Estos dos métodos tienen objetivos diferentes: el SFT minimiza la pérdida de entropía cruzada entre las salidas del modelo y las respuestas expertas, mientras que el RL maximiza las señales de recompensa derivadas de preferencias humanas o verificadores basados en reglas. Los modelos de razonamiento modernos han adoptado ampliamente la práctica de alternar entrenamiento SFT y RL. Sin embargo, no existe una explicación teórica sobre si pueden desacoplarse. Demostramos que el desacoplamiento es imposible en cualquier orden: (1) Acoplamiento SFT-luego-RL: el RL aumenta la pérdida de SFT bajo optimalidad de SFT y (2) Acoplamiento RL-luego-SFT: el SFT reduce la recompensa alcanzada por el RL. Experimentos en Qwen3-0.6B confirman la degradación predicha, verificando que el SFT y el RL no pueden separarse sin pérdida del rendimiento previo en la optimización posterior.
English
Post-training of large language models routinely interleaves supervised fine-tuning (SFT) with reinforcement learning (RL). These two methods have different objectives: SFT minimizes the cross-entropy loss between model outputs and expert responses, while RL maximizes reward signals derived from human preferences or rule-based verifiers. Modern reasoning models have widely adopted the practice of alternating SFT and RL training. However, there is no theoretical account of whether they can be decoupled. We prove that decoupling is impossible in either order: (1) SFT-then-RL coupling: RL increases SFT loss under SFT optimality and (2) RL-then-SFT coupling: SFT lowers the reward achieved by RL. Experiments on Qwen3-0.6B confirm the predicted degradation, verifying that SFT and RL cannot be separated without loss of prior performance in the post-training