Sobre la geometría de la destilación on-policy

Resumen

La destilación on-policy (OPD) se utiliza cada vez más para mejorar el razonamiento de modelos de lenguaje grandes, pero su dinámica de entrenamiento sigue siendo poco comprendida. Caracterizamos la trayectoria de las actualizaciones de OPD en el espacio de parámetros y la comparamos con el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo con recompensas verificables (RLVR). Un conjunto de diagnósticos en el espacio de parámetros sitúa consistentemente a OPD en un régimen relajado fuera de lo principal: en comparación con SFT, sus actualizaciones afectan a menos pesos y evitan las direcciones principales con mayor fuerza, mientras que, en comparación con RLVR, permanecen menos estrictamente restringidas. Más allá de esta localización estática, OPD exhibe un bloqueo de subespacio: sus actualizaciones acumulativas ingresan rápidamente en un canal estrecho y de baja dimensión. Restringir el entrenamiento al subespacio de actualización formado al inicio del entrenamiento preserva el rendimiento de OPD, pero degrada sustancialmente el SFT, lo que indica que el subespacio bloqueado es funcionalmente suficiente para OPD. Experimentos de control muestran además que la dispersión de los tokens de actualización y el cambio de la generación de rollout a off-policy preservan la dinámica de rango, mientras que mezclar el objetivo de OPD con RLVR la modifica. En conjunto, estos resultados sugieren que OPD no es simplemente un punto intermedio entre SFT y RLVR, sino que induce su propia geometría de actualización en el espacio de parámetros.

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.