Heroverwegen van continue ervaringsinternalisatie voor zelf-evoluerende LLM-agenten

Samenvatting

Ervaringsinternalisatie zet contextuele ervaring uit eerdere interacties om in herbruikbare parametrische capaciteit en biedt daarmee een veelbelovende weg naar continu leren in grote taalmodellen (LLMs). Terwijl eerder werk zich voornamelijk richtte op overdracht in één iteratie, ontdekken wij dat bestaande methoden bij ervaringsleren over meerdere iteraties lijden aan een progressieve capaciteitsinstorting in plaats van cumulatieve verbetering. We onderzoeken dit falen systematisch aan de hand van drie vitale dimensies van ervaringsinternalisatie: (1) Granulariteit van ervaring: We vinden dat ervaring op principeniveau duurzamer is dan ervaring op instantieniveau, omdat het effectief overdraagbare strategieën abstraheert van traject-specifieke details. (2) Patroon van ervaringsinjectie: Onze analyse laat zien dat stapsgewijze injectie significant beter presteert dan globale injectie door ervaring af te stemmen op tussentijdse beslissingstoestanden, een eigenschap die cruciaal is voor langetermijngebruik van hulpmiddelen. (3) Internalisatieregime: We tonen aan dat off-policy contextdestillatie op trajecten van een leraar van hoge kwaliteit een aanzienlijk stabieler trainingssignaal oplevert dan on-policy contextdestillatie, dat inherent wordt beperkt door lokale correcties op door de student veroorzaakte foutieve toestanden. Samen bieden deze inzichten een eenvoudig maar robuust recept voor stabiele en duurzame ervaringsinternalisatie, en geven concrete richtlijnen voor het ontwikkelen van zelfevoluerende en continu lerende grote taalmodellen.

English

Experience internalization converts contextual experience from past interactions into reusable parametric capability, offering a promising path toward continual learning in large language models (LLMs). While prior work has predominantly focused on single-iteration transfer, we discover that under multi-iteration experience learning, existing methods suffer from a progressive capability collapse rather than compounding improvement. We systematically examine this failure through three vital dimensions of experience internalization: (1) Experience Granularity: We find that principle-level experience is more durable than instance-level experience, as it effectively abstracts transferable strategies away from trajectory-specific details. (2) Experience Injection Pattern: Our analysis reveals that step-wise injection significantly outperforms global injection by aligning experience with intermediate decision states, a property that is critical for long-horizon tool use. (3) Internalization Regime: We demonstrate that off-policy context-distillation on high-quality teacher trajectories provides a substantially more stable training signal than on-policy context-distillation, which is inherently limited by local corrections on student-induced flawed states. Together, these insights yield a simple yet robust recipe for stable and sustainable experience internalization, providing concrete guidance for engineering self-evolving and continually learning LLMs.