Schwach-zu-Stark-Generalisierung durch direkte On-Policy-Destillation

Zusammenfassung

Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) ist ein leistungsfähiges Rezept zur Verbesserung des logischen Denkens von Sprachmodellen, aber es ist teuer, es bei jedem neuen starken Modell zu wiederholen, da das Zielmodell während des Trainings viele Rollouts generieren muss. Mit zunehmender Modellgröße wird das Post-Training selbst zum Engpass. Wir untersuchen eine schwach-zu-stark-Alternative: Führen Sie RL auf einem kleineren Modell durch, bei dem Rollouts billiger sind, und nutzen Sie dann das, was dieses RL gelernt hat, um ein stärkeres Zielmodell zu verbessern. Die direkte Destillation des Post-RL-schwachen Lehrers ist nicht ausreichend, da die endgültige Politik des Lehrers nützliche RL-Gewinne mit den Einschränkungen des kleineren Modells vermischt. Wir schlagen Direct On-Policy Distillation (Direct-OPD) vor, das stattdessen die vom Lehrer durch RL induzierte Politikverschiebung überträgt. Direct-OPD vergleicht den Post-RL-Lehrer mit seiner eigenen Pre-RL-Referenz und behandelt deren Log-Verhältnis als eine dichte implizite Belohnung für den Schüler. Einfach ausgedrückt: Das Checkpoint-Paar sagt uns, welche Aktionen RL beim schwachen Modell wahrscheinlicher oder unwahrscheinlicher gemacht hat, und Direct-OPD wendet dieses Signal auf die eigenen On-Policy-Zustände des stärkeren Schülers an. Dadurch wird das RL-Supervisionssignal des schwachen Modells direkt wiederverwendet, ohne dass RL mit spärlichen Belohnungen auf dem Zielmodell durchgeführt werden muss. Empirisch gesehen nutzt Direct-OPD konsequent schwächere Lehrer, um stärkere Zielmodelle zu verbessern; bemerkenswerterweise steigert es Qwen3-1.7B von 48,3% auf 58,3% auf AIME 2024 in nur 4 Stunden auf 8 A100 GPUs. Es übertrifft schrittweise abgestimmtes direktes RL und ermöglicht die sequenzielle Zusammensetzung mehrerer Politikverschiebungen. Unsere Ergebnisse zeigen, dass RL-Ergebnisse über Modellskalen hinweg als implizite Belohnungssignale wiederverwendet werden können, nicht nur als endgültige Modelle zum Nachahmen.

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 58.3% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.

Schwach-zu-Stark-Generalisierung durch direkte On-Policy-Destillation

Weak-to-Strong Generalization via Direct On-Policy Distillation

Zusammenfassung

Support