Apprendimento per Rinforzo Complementare
Complementary Reinforcement Learning
March 18, 2026
Autori: Dilxat Muhtar, Jiashun Liu, Wei Gao, Weixun Wang, Shaopan Xiong, Ju Huang, Siran Yang, Wenbo Su, Jiamang Wang, Ling Pan, Bo Zheng
cs.AI
Abstract
L’apprendimento per rinforzo (RL) è emerso come un potente paradigma per addestrare agenti basati su LLM, ma rimane limitato da una bassa efficienza campionaria, derivante non solo da feedback sugli esiti sporadici, ma anche dall’incapacità dell’agente di sfruttare l’esperienza pregressa attraverso diversi episodi. Sebbene l’arricchimento degli agenti con esperienze storiche offra una promettente soluzione, gli approcci esistenti soffrono di una critica debolezza: l’esperienza distillata dalla storia viene memorizzata staticamente o non riesce a co-evolvere con l’attore in miglioramento, causando un progressivo disallineamento tra l’esperienza e le capacità evolutive dell’attore che ne riduce l’utilità durante l’addestramento. Ispirati dai sistemi di apprendimento complementari nelle neuroscienze, presentiamo il Complementary RL per realizzare una co-evoluzione senza interruzioni di un estrattore di esperienza e di un attore politico all’interno del ciclo di ottimizzazione RL. Nello specifico, l’attore viene ottimizzato tramite ricompense sporadiche basate sugli esiti, mentre l’estrattore di esperienza viene ottimizzato in base al fatto che le esperienze distillate contribuiscano dimostrabilmente al successo dell’attore, evolvendo così la sua strategia di gestione dell’esperienza in sincronia con le crescenti capacità dell’attore. Empiricamente, il Complementary RL supera i baseline di RL agentivo basati sugli esiti che non apprendono dall’esperienza, ottenendo un miglioramento delle prestazioni del 10% in scenari a singolo compito e mostrando una robusta scalabilità in ambienti multi-compito. Questi risultati stabiliscono il Complementary RL come un paradigma per un apprendimento agentivo efficiente guidato dall’esperienza.
English
Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.