Aprendizaje por Refuerzo Complementario
Complementary Reinforcement Learning
March 18, 2026
Autores: Dilxat Muhtar, Jiashun Liu, Wei Gao, Weixun Wang, Shaopan Xiong, Ju Huang, Siran Yang, Wenbo Su, Jiamang Wang, Ling Pan, Bo Zheng
cs.AI
Resumen
El Aprendizaje por Refuerzo (RL) se ha consolidado como un paradigma poderoso para entrenar agentes basados en LLM, pero sigue estando limitado por una baja eficiencia muestral, que no solo proviene de la retroalimentación escasa de resultados, sino también de la incapacidad del agente para aprovechar la experiencia previa a través de episodios. Si bien aumentar a los agentes con experiencia histórica ofrece una solución prometedora, los enfoques existentes adolecen de una debilidad crítica: la experiencia destilada del historial se almacena de forma estática o no logra coevolucionar con el actor en mejora, lo que provoca un desajuste progresivo entre la experiencia y la capacidad evolutiva del actor que disminuye su utilidad durante el entrenamiento. Inspirados por los sistemas de aprendizaje complementario en neurociencia, presentamos *Complementary RL* para lograr una coevolución fluida de un extractor de experiencia y un actor de políticas dentro del bucle de optimización de RL. Específicamente, el actor se optimiza mediante recompensas basadas en resultados escasos, mientras que el extractor de experiencia se optimiza según si sus experiencias destiladas contribuyen demostrablemente al éxito del actor, evolucionando así su estrategia de gestión de la experiencia en paralelo con las crecientes capacidades del actor. Empíricamente, *Complementary RL* supera a los baselines de RL agéntico basados en resultados que no aprenden de la experiencia, logrando una mejora del 10% en el rendimiento en escenarios de tarea única y exhibiendo una escalabilidad robusta en entornos multitarea. Estos resultados establecen a *Complementary RL* como un paradigma para el aprendizaje eficiente de agentes impulsados por la experiencia.
English
Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.