Repensando la internalización continua de la experiencia para agentes LLM auto-evolutivos

Resumen

La internalización de la experiencia convierte la experiencia contextual de interacciones pasadas en capacidad paramétrica reutilizable, ofreciendo un camino prometedor hacia el aprendizaje continuo en modelos de lenguaje extensos (LLMs). Si bien trabajos previos se han centrado predominantemente en la transferencia de una sola iteración, descubrimos que, bajo el aprendizaje de experiencia multi-iteración, los métodos existentes sufren un colapso progresivo de la capacidad en lugar de una mejora compuesta. Examinamos sistemáticamente este fallo a través de tres dimensiones vitales de la internalización de la experiencia: (1) Granularidad de la Experiencia: Encontramos que la experiencia a nivel de principios es más duradera que la experiencia a nivel de instancias, ya que abstrae efectivamente estrategias transferibles de los detalles específicos de la trayectoria. (2) Patrón de Inyección de Experiencia: Nuestro análisis revela que la inyección paso a paso supera significativamente a la inyección global al alinear la experiencia con estados de decisión intermedios, una propiedad que es crítica para el uso de herramientas a largo plazo. (3) Régimen de Internalización: Demostramos que la destilación de contexto fuera de la política (off-policy) en trayectorias de profesor de alta calidad proporciona una señal de entrenamiento sustancialmente más estable que la destilación de contexto dentro de la política (on-policy), la cual está inherentemente limitada por correcciones locales en estados defectuosos inducidos por el estudiante. En conjunto, estas ideas producen una receta simple pero robusta para una internalización de la experiencia estable y sostenible, proporcionando una guía concreta para la ingeniería de LLMs que aprenden de forma continua y auto-evolucionan.

English

Experience internalization converts contextual experience from past interactions into reusable parametric capability, offering a promising path toward continual learning in large language models (LLMs). While prior work has predominantly focused on single-iteration transfer, we discover that under multi-iteration experience learning, existing methods suffer from a progressive capability collapse rather than compounding improvement. We systematically examine this failure through three vital dimensions of experience internalization: (1) Experience Granularity: We find that principle-level experience is more durable than instance-level experience, as it effectively abstracts transferable strategies away from trajectory-specific details. (2) Experience Injection Pattern: Our analysis reveals that step-wise injection significantly outperforms global injection by aligning experience with intermediate decision states, a property that is critical for long-horizon tool use. (3) Internalization Regime: We demonstrate that off-policy context-distillation on high-quality teacher trajectories provides a substantially more stable training signal than on-policy context-distillation, which is inherently limited by local corrections on student-induced flawed states. Together, these insights yield a simple yet robust recipe for stable and sustainable experience internalization, providing concrete guidance for engineering self-evolving and continually learning LLMs.