Apprentissage par Renforcement Complémentaire

Résumé

L'apprentissage par renforcement (RL) est apparu comme un paradigme puissant pour entraîner des agents basés sur LLM, mais il reste limité par une faible efficacité d'échantillonnage, découlant non seulement de retours d'information épars sur les résultats, mais aussi de l'incapacité de l'agent à tirer parti de l'expérience antérieure à travers les épisodes. Bien que l'augmentation des agents avec une expérience historique offre une solution prometteuse, les approches existantes souffrent d'une faiblesse critique : l'expérience distillée à partir de l'histoire est soit stockée statiquement, soit ne parvient pas à co-évoluer avec l'acteur qui s'améliore, provoquant un désalignement progressif entre l'expérience et la capacité évolutive de l'acteur qui diminue son utilité au cours de l'entraînement. Inspiré par les systèmes d'apprentissage complémentaires en neurosciences, nous présentons le RL Complémentaire pour réaliser une co-évolution transparente d'un extracteur d'expérience et d'un acteur de politique dans la boucle d'optimisation du RL. Plus précisément, l'acteur est optimisé via des récompenses éparses basées sur les résultats, tandis que l'extracteur d'expérience est optimisé en fonction de si ses expériences distillées contribuent de manière démontrable au succès de l'acteur, faisant ainsi évoluer sa stratégie de gestion de l'expérience au même rythme que les capacités croissantes de l'acteur. Empiriquement, le RL Complémentaire surpasse les lignes de base de RL agentique basées sur les résultats qui n'apprennent pas de l'expérience, obtenant une amélioration des performances de 10 % dans des scénarios à tâche unique et présentant une scalabilité robuste dans des configurations multi-tâches. Ces résultats établissent le RL Complémentaire comme un paradigme pour un apprentissage agentique efficace guidé par l'expérience.

English

Reinforcement Learning (RL) has emerged as a powerful paradigm for training LLM-based agents, yet remains limited by low sample efficiency, stemming not only from sparse outcome feedback but also from the agent's inability to leverage prior experience across episodes. While augmenting agents with historical experience offers a promising remedy, existing approaches suffer from a critical weakness: the experience distilled from history is either stored statically or fail to coevolve with the improving actor, causing a progressive misalignment between the experience and the actor's evolving capability that diminishes its utility over the course of training. Inspired by complementary learning systems in neuroscience, we present Complementary RL to achieve seamless co-evolution of an experience extractor and a policy actor within the RL optimization loop. Specifically, the actor is optimized via sparse outcome-based rewards, while the experience extractor is optimized according to whether its distilled experiences demonstrably contribute to the actor's success, thereby evolving its experience management strategy in lockstep with the actor's growing capabilities. Empirically, Complementary RL outperforms outcome-based agentic RL baselines that do not learn from experience, achieving 10% performance improvement in single-task scenarios and exhibits robust scalability in multi-task settings. These results establish Complementary RL as a paradigm for efficient experience-driven agent learning.

Apprentissage par Renforcement Complémentaire

Complementary Reinforcement Learning

Résumé

Support