TCOD: Exploración del Currículo Temporal en la Destilación en Política para Agentes Autónomos Multiturno
TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents
April 27, 2026
Autores: Jiaqi Wang, Wenhao Zhang, Weijie Shi, Yaliang Li, James Cheng
cs.AI
Resumen
La destilación bajo política (OPD) ha demostrado un gran potencial para transferir la capacidad de razonamiento desde modelos de vanguardia o específicos de un dominio a estudiantes más pequeños. Aunque es eficaz en tasks estáticas de un solo turno, su comportamiento en entornos de agentes multi-turno sigue sin explorarse suficientemente. En este trabajo, identificamos una limitación clave de la OPD básica en dichos entornos, que denominamos Inestabilidad KL a Nivel de Trayectoria. Específicamente, observamos que la divergencia KL aumenta junto con una caída en la tasa de éxito, e incluso después de la convergencia, la KL permanece alta, lo que conduce a un entrenamiento inestable. Esta inestabilidad surge de la composición de errores entre turnos: a medida que los errores se acumulan, el estudiante es llevado más allá del soporte efectivo del profesor, haciendo que la señal de supervisión sea poco fiable. Para abordar esto, proponemos TCOD (Destilación bajo Política con Currículo Temporal), un marco simple pero efectivo que controla la profundidad de la trayectoria expuesta al estudiante y la expande progresivamente de corta a larga con un plan de estudios. Los resultados experimentales en cuatro pares estudiante-profesor en tres benchmarks de agentes multi-turno (ALFWorld, WebShop, ScienceWorld) muestran que TCOD mitiga la escalada de KL y mejora la estabilidad de KL durante todo el entrenamiento, mejorando el rendimiento del agente hasta en 18 puntos sobre la OPD básica. Evaluaciones adicionales muestran que TCOD puede incluso superar el rendimiento del profesor y generalizar a tareas en las que el profesor falla.
English
On-policy distillation (OPD) has shown strong potential for transferring reasoning ability from frontier or domain-specific models to smaller students. While effective on static single-turn tasks, its behavior in multi-turn agent settings remains underexplored. In this work, we identify a key limitation of vanilla OPD in such settings, which we term Trajectory-Level KL Instability. Specifically, we observe that KL divergence increases together with a drop in success rate, and even after convergence, the KL remains high, leading to unstable training. This instability arises from inter-turn error compounding: as errors accumulate, the student is driven beyond the teacher's effective support, rendering the supervision signal unreliable. To address this, we propose TCOD (Temporal Curriculum On-Policy Distillation), a simple yet effective framework that controls the trajectory depth exposed to the student and progressively expands it from short to long with a curriculum schedule.Experimental results across four student-teacher pairs on three multi-turn agent benchmarks (ALFWorld, WebShop, ScienceWorld) show that TCOD mitigates KL escalation and enhances KL stability throughout training, improving agent performance by up to 18 points over vanilla OPD. Further evaluations show that TCOD can even surpass the teacher's performance and generalize to tasks on which the teacher fails.