ReNIO: Reponderación de la Importancia de Trayectorias Negativas para la Destilación On-Policy de LLMs

Resumen

La destilación on-policy (OPD) mejora el razonamiento de los LLMs al entrenar un modelo estudiante con sus propias salidas generadas, pero la OPD estándar trata todas las salidas generadas por el estudiante (SGOs) por igual, independientemente de su informatividad. Observamos una asimetría consistente en experimentos de filtrado controlado: tanto en OPD como en la autodestilación on-policy (OPSD), entrenar solo con SGOs incorrectas supera a entrenar solo con SGOs correctas. Nuestro análisis adicional sugiere que los modelos entrenados únicamente con SGOs correctas tienden a generar trazas de razonamiento más cortas y muestran un comportamiento de reflexión más débil, mientras que las SGOs incorrectas preservan mejor el razonamiento exploratorio cerca del límite de capacidad del modelo. Para aprovechar esta señal sin requerir rollouts completos que contengan la respuesta, introducimos ReNIO, que Re-pondera la Importancia de Trayectorias Negativas para la destilación on-policy de LLMs. Utilizando la relación de probabilidades estudiante a maestro, ReNIO identifica los tokens pivotes que conducen a trazas de razonamiento erróneas y agrega su información en un peso de muestra normalizado, asignando inherentemente pesos mayores a trayectorias probablemente negativas sin observar la corrección de la respuesta final. Dado que ReNIO solo utiliza probabilidades de tokens condicionadas al prefijo, preserva la ventaja de entrenamiento con prefijo de la OPD sobre el aprendizaje por refuerzo con rollouts completos. Tanto en tareas de razonamiento matemático como de generación de código, ReNIO mejora tanto la OPD como la OPSD, con ganancias relativas representativas de hasta un 8.90% para Qwen3-1.7B y un 10.00% para R1-Distill-Qwen-7B en benchmarks de razonamiento matemático. Repositorio de código: https://github.com/BDML-lab/ReNIO.

English

On-policy distillation (OPD) improves LLM reasoning by training a student model on its own generated outputs, but standard OPD treats all student-generated outputs (SGOs) equally regardless of their informativeness. We observe a consistent asymmetry in controlled filtering experiments: in both OPD and on-policy self distillation (OPSD), training only on incorrect SGOs outperforms training only on correct ones. Our further analysis suggests that models trained on correct-only SGOs tend to generate shorter reasoning traces and show weaker reflection behavior, while incorrect SGOs better preserve exploratory reasoning near the model's capability boundary. To exploit this signal without requiring full answer-containing rollouts, we introduce ReNIO, which Reweights Negative trajectory Importance for LLM On-policy distillation. By using the student-to-teacher probability ratio, ReNIO identifies pivotal tokens leading to wrong reasoning traces and aggregates their information into a normalized sample weight, inherently assigning larger weights to likely negative trajectories without observing the correctness of final-answer. Since Re-NIO only uses prefix-conditioned token probabilities, it preserves OPD's prefix training advantage over full-rollout reinforcement learning. Across both mathematical reasoning and code generation tasks, ReNIO improves both OPD and OPSD, with representative relative gains of up to 8.90% for Qwen3-1.7B and 10.00% for R1-Distill-Qwen-7B on mathematical reasoning benchmarks. Code repo: https://github.com/BDML-lab/ReNIO.