TCOD : Exploration du Curriculum Temporel dans la Distillation en Politique pour Agents Autonomes Multi-tours
TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents
April 27, 2026
Auteurs: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng
cs.AI
Résumé
La distillation en ligne (OPD) a démontré un fort potentiel pour transférer les capacités de raisonnement des modèles de pointe ou spécialisés vers des étudiants plus petits. Bien qu’efficace sur des tâches statiques à tour unique, son comportement dans des environnements d’agents multi-tours reste peu exploré. Dans ce travail, nous identifions une limitation clé de l’OPD classique dans de tels contextes, que nous nommons Instabilité KL au Niveau de la Trajectoire. Concrètement, nous observons que la divergence KL augmente parallèlement à une baisse du taux de réussite, et même après convergence, le KL reste élevé, entraînant un apprentissage instable. Cette instabilité provient de la composition d’erreurs inter-tours : à mesure que les erreurs s’accumulent, l’étudiant est conduit au-delà du support effectif de l’enseignant, rendant le signal de supervision peu fiable. Pour y remédier, nous proposons TCOD (Temporal Curriculum On-Policy Distillation), un cadre simple mais efficace qui contrôle la profondeur de trajectoire exposée à l’étudiant et l’étend progressivement du court au long via un programme curriculaire. Les résultats expérimentaux sur quatre paires étudiant-enseignant et trois benchmarks d’agents multi-tours (ALFWorld, WebShop, ScienceWorld) montrent que TCOD atténue l’escalade du KL et améliore sa stabilité tout au long de l’apprentissage, augmentant les performances de l’agent jusqu’à 18 points par rapport à l’OPD classique. Des évaluations supplémentaires indiquent que TCOD peut même surpasser les performances de l’enseignant et généraliser à des tâches sur lesquelles l’enseignant échoue.
English
On-policy distillation (OPD) has shown strong potential for transferring reasoning ability from frontier or domain-specific models to smaller students. While effective on static single-turn tasks, its behavior in multi-turn agent settings remains underexplored. In this work, we identify a key limitation of vanilla OPD in such settings, which we term Trajectory-Level KL Instability. Specifically, we observe that KL divergence increases together with a drop in success rate, and even after convergence, the KL remains high, leading to unstable training. This instability arises from inter-turn error compounding: as errors accumulate, the student is driven beyond the teacher's effective support, rendering the supervision signal unreliable. To address this, we propose TCOD (Temporal Curriculum On-Policy Distillation), a simple yet effective framework that controls the trajectory depth exposed to the student and progressively expands it from short to long with a curriculum schedule.Experimental results across four student-teacher pairs on three multi-turn agent benchmarks (ALFWorld, WebShop, ScienceWorld) show that TCOD mitigates KL escalation and enhances KL stability throughout training, improving agent performance by up to 18 points over vanilla OPD. Further evaluations show that TCOD can even surpass the teacher's performance and generalize to tasks on which the teacher fails.