TCOD: Esplorazione del Curriculum Temporale nella Distillazione On-Policy per Agenti Autonomi Multi-turno
TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents
April 27, 2026
Autori: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng
cs.AI
Abstract
La distillazione on-policy (OPD) ha dimostrato un forte potenziale nel trasferire la capacità di ragionamento da modelli all'avanguardia o specializzati in domini specifici a modelli studente più piccoli. Sebbene sia efficace su compiti statici a turno singolo, il suo comportamento in contesti di agenti multi-turno rimane poco esplorato. In questo lavoro, identifichiamo una limitazione chiave della OPD standard in tali contesti, che definiamo Instabilità KL a Livello di Traiettoria. In particolare, osserviamo che la divergenza KL aumenta insieme a un calo del tasso di successo e che, anche dopo la convergenza, la KL rimane elevata, portando a un addestramento instabile. Questa instabilità deriva dalla composizione degli errori tra i turni: man mano che gli errori si accumulano, lo studente viene spinto al di fuori del supporto efficace del teacher, rendendo il segnale di supervisione inaffidabile. Per affrontare questo problema, proponiamo TCOD (Temporal Curriculum On-Policy Distillation), un framework semplice ma efficace che controlla la profondità della traiettoria esposta allo studente e la espande progressivamente da corta a lunga secondo una pianificazione di curriculum. I risultati sperimentali su quattro coppie studente-teacher in tre benchmark per agenti multi-turno (ALFWorld, WebShop, ScienceWorld) mostrano che TCOD mitiga l'escalation della KL e ne migliora la stabilità durante l'addestramento, aumentando le prestazioni dell'agente fino a 18 punti rispetto alla OPD standard. Ulteriori valutazioni dimostrano che TCOD può addirittura superare le prestazioni del teacher e generalizzare a compiti in cui il teacher fallisce.
English
On-policy distillation (OPD) has shown strong potential for transferring reasoning ability from frontier or domain-specific models to smaller students. While effective on static single-turn tasks, its behavior in multi-turn agent settings remains underexplored. In this work, we identify a key limitation of vanilla OPD in such settings, which we term Trajectory-Level KL Instability. Specifically, we observe that KL divergence increases together with a drop in success rate, and even after convergence, the KL remains high, leading to unstable training. This instability arises from inter-turn error compounding: as errors accumulate, the student is driven beyond the teacher's effective support, rendering the supervision signal unreliable. To address this, we propose TCOD (Temporal Curriculum On-Policy Distillation), a simple yet effective framework that controls the trajectory depth exposed to the student and progressively expands it from short to long with a curriculum schedule.Experimental results across four student-teacher pairs on three multi-turn agent benchmarks (ALFWorld, WebShop, ScienceWorld) show that TCOD mitigates KL escalation and enhances KL stability throughout training, improving agent performance by up to 18 points over vanilla OPD. Further evaluations show that TCOD can even surpass the teacher's performance and generalize to tasks on which the teacher fails.