TCOD: Verkenning van Temporeel Curriculum in On-Policy Distillatie voor Multi-turn Autonome Agenten

TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents

April 27, 2026

Auteurs: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng

cs.AI

Samenvatting

On-policy distillatie (OPD) heeft een sterk potentieel getoond voor het overdragen van redeneervermogen van geavanceerde of domeinspecifieke modellen naar kleinere studentmodellen. Hoewel effectief voor statische taken met één beurt, blijft het gedrag in multi-turn agent-omgevingen onderbelicht. In dit werk identificeren we een belangrijke beperking van standaard OPD in dergelijke settings, die we Trajectory-Level KL-instabiliteit noemen. Concreet observeren we dat de KL-divergentie toeneemt samen met een daling van het succespercentage, en dat zelfs na convergentie de KL hoog blijft, wat leidt tot onstabiele training. Deze instabiliteit ontstaat door de cumulatie van fouten tussen beurten: naarmate fouten zich opstapelen, wordt het studentmodel buiten het effectieve ondersteuningsgebied van het leraarmodel gedreven, waardoor het supervisiesignaal onbetrouwbaar wordt. Om dit aan te pakken, stellen we TCOD (Temporal Curriculum On-Policy Distillation) voor, een eenvoudig maar effectief raamwerk dat de trajectdiepte die aan de student wordt blootgesteld controleert en deze progressief uitbreidt van kort naar lang volgens een curriculumplan. Experimentele resultaten over vier student-leraar paren op drie multi-turn agent benchmarks (ALFWorld, WebShop, ScienceWorld) tonen aan dat TCOD KL-escalatie vermindert en de KL-stabiliteit gedurende de hele training verbetert, wat de agentprestatie met tot 18 punten verbetert ten opzichte van standaard OPD. Verdere evaluaties tonen aan dat TCOD zelfs de prestaties van de leraar kan overtreffen en kan generaliseren naar taken waarop de leraar faalt.

English

On-policy distillation (OPD) has shown strong potential for transferring reasoning ability from frontier or domain-specific models to smaller students. While effective on static single-turn tasks, its behavior in multi-turn agent settings remains underexplored. In this work, we identify a key limitation of vanilla OPD in such settings, which we term Trajectory-Level KL Instability. Specifically, we observe that KL divergence increases together with a drop in success rate, and even after convergence, the KL remains high, leading to unstable training. This instability arises from inter-turn error compounding: as errors accumulate, the student is driven beyond the teacher's effective support, rendering the supervision signal unreliable. To address this, we propose TCOD (Temporal Curriculum On-Policy Distillation), a simple yet effective framework that controls the trajectory depth exposed to the student and progressively expands it from short to long with a curriculum schedule.Experimental results across four student-teacher pairs on three multi-turn agent benchmarks (ALFWorld, WebShop, ScienceWorld) show that TCOD mitigates KL escalation and enhances KL stability throughout training, improving agent performance by up to 18 points over vanilla OPD. Further evaluations show that TCOD can even surpass the teacher's performance and generalize to tasks on which the teacher fails.