TurnOPD: On-Policy-Destillation turn-bewusst für effizientes Langzeithorizont-Training von Agenten

Zusammenfassung

On-Policy-Destillation (OPD) trainiert eine Schülerpolitik, indem sie einen stärkeren Lehrer auf den eigenen Trajektorien des Schülers abgleicht, und bietet damit einen vielversprechenden Rahmen für das Training von Sprachagenten. Ihre Anwendung auf langfristige agentische Aufgaben ist jedoch noch unzureichend erforscht. Wir identifizieren zwei wesentliche Ineffizienzen der einfachen Agenten-OPD: (1) Vollhorizont-Rollouts verschwenden oft Echtzeitressourcen für Endrunden, die eine schwache und verrauschte KL-Überwachung liefern, und (2) trajektorienweise KL-Ziele konzentrieren den Großteil des Verlusts auf flache Token, wodurch tiefere Entscheidungsrunden unzureichend trainiert bleiben, sobald das anfängliche Verhalten angeglichen ist. Um diese Herausforderungen zu bewältigen, schlagen wir TurnOPD vor, eine rundenweise Budgetierungsstrategie für effiziente On-Policy-Destillation von langfristigen Agenten. TurnOPD besteht aus zwei Budgetsteuerungen: adaptive Rollout-Tiefen-Budgetierung, die sondenbasierte Rundenstatistiken zur Bestimmung der Rollout-Länge verwendet, und progressive rundenormalisierte Verlustbudgetierung, die die KL-Gewichtung schrittweise von der Token-Ebene zur rundenausgeglichenen Überwachung verschiebt. Experimente auf ALFWorld, WebShop und Multi-Hop Search mit aufgabenspezialisierten Lehrermodellen zeigen, dass TurnOPD unter gleichen Echtzeit-Trainingsbudgets eine überlegene Validierungsgenauigkeit erreicht und die Genauigkeits-Zeit-Grenze über die einfache OPD hinaus verschiebt.

English

On-policy distillation (OPD) trains a student policy by matching a stronger teacher on the student's own trajectories, offering a promising framework for language agent training. However, its application to long-horizon agentic tasks remains insufficiently explored. We identify two key inefficiencies in vanilla agent OPD: (1) full-horizon rollouts often waste wall-clock resources on tail turns that provide weak and noisy KL supervision, and (2) trajectory-level KL objectives concentrate most of the loss on shallow tokens, leaving deeper decision turns under-trained once initial behaviors are aligned. To address these challenges, we propose TurnOPD, a turn-level budgeting strategy for efficient on-policy distillation of long-horizon agents. TurnOPD consists of two budget controllers: adaptive rollout-depth budgeting, which uses probe-based turn statistics to determine rollout length, and progressive turn-normalized loss budgeting, which gradually shifts KL weighting from token-level to turn-balanced supervision. Experiments on ALFWorld, WebShop, and Multi-Hop Search with task-specialized teacher models show that TurnOPD achieves superior validation accuracy under equal wall-clock training budgets and advances the accuracy--time frontier beyond vanilla OPD.