ReNIO: Neugewichtung der Bedeutung negativer Trajektorien für LLM-On-Policy-Destillation

Zusammenfassung

**On-Policy-Destillation (OPD)** verbessert das Reasoning großer Sprachmodelle (LLMs), indem ein Schülermodell auf seinen selbst generierten Ausgaben trainiert wird. Standard-OPD behandelt jedoch alle schülergenerierten Ausgaben (SGOs) unabhängig von ihrer Informativität gleich. Wir beobachten eine konsistente Asymmetrie in kontrollierten Filterexperimenten: Sowohl bei OPD als auch bei On-Policy-Selbstdestillation (OPSD) übertrifft das ausschließliche Training auf inkorrekten SGOs das Training auf ausschließlich korrekten. Unsere weitere Analyse deutet darauf hin, dass Modelle, die nur auf korrekten SGOs trainiert wurden, tendenziell kürzere Reasoning-Spuren erzeugen und ein schwächeres Reflexionsverhalten zeigen, während inkorrekte SGOs das explorative Reasoning nahe der Fähigkeitsgrenze des Modells besser erhalten. Um dieses Signal ohne vollständige antwortenthaltende Rollouts zu nutzen, führen wir **ReNIO** (Reweighting Negative Trajectory Importance for LLM On-Policy Distillation) ein. Durch die Verwendung des Schüler-zu-Lehrer-Wahrscheinlichkeitsverhältnisses identifiziert ReNIO entscheidende Token, die zu falschen Reasoning-Spuren führen, und aggregiert deren Information in eine normalisierte Stichprobengewichtung, wodurch inhärent größere Gewichte für wahrscheinlich negative Trajektorien vergeben werden, ohne die Korrektheit der endgültigen Antwort zu beobachten. Da ReNIO nur präfixbedingte Token-Wahrscheinlichkeiten nutzt, bleibt der Präfix-Trainingsvorteil der OPD gegenüber dem vollständigen Rollout im verstärkenden Lernen erhalten. Sowohl bei mathematischen Reasoning- als auch bei Code-Generierungsaufgaben verbessert ReNIO sowohl OPD als auch OPSD, mit repräsentativen relativen Steigerungen von bis zu 8,90% für Qwen3-1.7B und 10,00% für R1-Distill-Qwen-7B bei Benchmarks für mathematisches Reasoning. Code-Repository: https://github.com/BDML-lab/ReNIO.

English

On-policy distillation (OPD) improves LLM reasoning by training a student model on its own generated outputs, but standard OPD treats all student-generated outputs (SGOs) equally regardless of their informativeness. We observe a consistent asymmetry in controlled filtering experiments: in both OPD and on-policy self distillation (OPSD), training only on incorrect SGOs outperforms training only on correct ones. Our further analysis suggests that models trained on correct-only SGOs tend to generate shorter reasoning traces and show weaker reflection behavior, while incorrect SGOs better preserve exploratory reasoning near the model's capability boundary. To exploit this signal without requiring full answer-containing rollouts, we introduce ReNIO, which Reweights Negative trajectory Importance for LLM On-policy distillation. By using the student-to-teacher probability ratio, ReNIO identifies pivotal tokens leading to wrong reasoning traces and aggregates their information into a normalized sample weight, inherently assigning larger weights to likely negative trajectories without observing the correctness of final-answer. Since Re-NIO only uses prefix-conditioned token probabilities, it preserves OPD's prefix training advantage over full-rollout reinforcement learning. Across both mathematical reasoning and code generation tasks, ReNIO improves both OPD and OPSD, with representative relative gains of up to 8.90% for Qwen3-1.7B and 10.00% for R1-Distill-Qwen-7B on mathematical reasoning benchmarks. Code repo: https://github.com/BDML-lab/ReNIO.