Agent de LLM à Mémoire Exploratoire par Optimisation Hybride Hors-Politique et Sur-Politique
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
February 26, 2026
Auteurs: Zeyuan Liu, Jeonghye Kim, Xufang Luo, Dongsheng Li, Yuqing Yang
cs.AI
Résumé
L'exploration reste le principal goulot d'étranglement pour les agents de grands modèles linguistiques entraînés par apprentissage par renforcement. Bien que les méthodes antérieures exploitent les connaissances pré-entraînées, elles échouent dans les environnements nécessitant la découverte d'états nouveaux. Nous proposons l'Optimisation On- et Off-Policy avec Mémoire Exploratoire (EMPO²), un cadre d'apprentissage par renforcement hybride qui tire parti de la mémoire pour l'exploration et combine les mises à jour on-policy et off-policy pour permettre aux LLM de bien performer avec la mémoire tout en garantissant leur robustesse sans celle-ci. Sur ScienceWorld et WebShop, EMPO² obtient des améliorations de 128,6 % et 11,3 % par rapport à GRPO, respectivement. De plus, dans les tests hors-distribution, EMPO² démontre une adaptabilité supérieure aux nouvelles tâches, ne nécessitant que quelques essais avec mémoire et aucune mise à jour des paramètres. Ces résultats soulignent qu'EMPO² est un cadre prometteur pour construire des agents basés sur les LLM plus exploratoires et généralisables.
English
Exploration remains the key bottleneck for large language model agents trained with reinforcement learning. While prior methods exploit pretrained knowledge, they fail in environments requiring the discovery of novel states. We propose Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO^2), a hybrid RL framework that leverages memory for exploration and combines on- and off-policy updates to make LLMs perform well with memory while also ensuring robustness without it. On ScienceWorld and WebShop, EMPO^2 achieves 128.6% and 11.3% improvements over GRPO, respectively. Moreover, in out-of-distribution tests, EMPO^2 demonstrates superior adaptability to new tasks, requiring only a few trials with memory and no parameter updates. These results highlight EMPO^2 as a promising framework for building more exploratory and generalizable LLM-based agents.