Complementaire Versterkingsleren

Samenvatting

Versterkend Leren (VL) is naar voren gekomen als een krachtig paradigma voor het trainen van op grote taalmodel-gebaseerde agenten, maar wordt nog steeds beperkt door een lage steekproefefficiëntie. Dit komt niet alleen door spaarzame uitkomstfeedback, maar ook door het onvermogen van de agent om eerdere ervaringen over verschillende episodes heen te benutten. Hoewel het verrijken van agenten met historische ervaring een veelbelovend middel biedt, lijden bestaande benaderingen onder een kritieke zwakte: de ervaring die uit de geschiedenis wordt gedistilleerd, wordt ofwel statisch opgeslagen, of slaagt er niet in om mee te evolueren met de verbeterende actor. Dit veroorzaakt een progressieve afwijzing tussen de ervaring en de evoluerende capaciteit van de actor, waardoor het nut ervan in de loop van de training afneemt. Geïnspireerd door complementaire leer systemen in de neurowetenschappen, presenteren wij Complementair VL om een naadloze co-evolutie van een ervaringsextractor en een beleidsactor binnen de VL-optimalisatielus te bereiken. Specifiek wordt de actor geoptimaliseerd via spaarzame op uitkomsten gebaseerde beloningen, terwijl de ervaringsextractor wordt geoptimaliseerd op basis van of zijn gedistilleerde ervaringen aantoonbaar bijdragen aan het succes van de actor. Hierdoor evolueert zijn ervaringsbeheerstrategie gelijk op met de groeiende capaciteiten van de actor. Empirisch presteert Complementair VL beter dan op uitkomsten gebaseerde, agentische VL-basislijnen die niet van ervaring leren, met een prestatieverbetering van 10% in scenario's met één taak en het vertoont robuuste schaalbaarheid in multi-task omgevingen. Deze resultaten vestigen Complementair VL als een paradigma voor efficiënte, op ervaring gebaseerde agenttraining.

English

Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.

Complementaire Versterkingsleren

Complementary Reinforcement Learning

Samenvatting

Support