Trust-Region-Policy-Destillation

Zusammenfassung

Große Ziele sind schwer auf einmal zu erreichen; es ist klüger, sie in kleine Schritte aufzuteilen. Wir stellen Trust Region Policy Distillation (TOP-D) vor, die die bekanntermaßen instabile, varianzreiche On-Policy Distillation (OPD) durch dynamische Konstruktion eines proximalen Lehrers in ein stabiles Trainingsparadigma umwandelt. Theoretisch etablieren wir einen rigorosen Rahmen, der zeigt, dass TOP-D inhärent die Gradientenvarianz kontrolliert. Durch die Bereitstellung einer formalen globalen Konvergenzanalyse zusammen mit einer monotonen Verbesserungsschranke formalisieren wir mathematisch die Zuverlässigkeit und Stabilität der gesamten Trainingsdynamik. Empirisch verbessert TOP-D die Trainingsstabilität, die Stichprobeneffizienz und die endgültige Leistung bei mathematischen Denkaufgaben dramatisch. Noch wichtiger ist, dass TOP-D keinen zusätzlichen Rechenaufwand einführt und sich damit als vielversprechende Alternative zum etablierten OPD-Paradigma positioniert.

English

Big goals are hard to achieve all at once; breaking them into small steps is wiser. We present Trust Region Policy Distillation (TOP-D), which transforms the notoriously unstable, high-variance On-Policy Distillation (OPD) into a stable training paradigm by dynamically constructing a proximal teacher. Theoretically, we establish a rigorous framework demonstrating that TOP-D inherently controls gradient variance. By providing a formal global convergence analysis alongside a monotonic improvement bound, we mathematically formalize the reliability and stability of the overall training dynamics. Empirically, TOP-D dramatically enhances training stability, sample efficiency, and final performance on mathematical reasoning tasks. More importantly, TOP-D introduces zero additional computational overhead, positioning itself as a promising alternative to the well-established OPD paradigm.