Explorativer speichererweiterter LLM-Agent durch hybride On- und Off-Policy-Optimierung
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
February 26, 2026
Autoren: Zeyuan Liu, Jeonghye Kim, Xufang Luo, Dongsheng Li, Yuqing Yang
cs.AI
Zusammenfassung
Exploration bleibt der entscheidende Engpass für Agenten auf Basis großer Sprachmodelle, die mit Verstärkungslernen trainiert werden. Während bisherige Methoden vortrainiertes Wissen nutzen, versagen sie in Umgebungen, die die Entdeckung neuartiger Zustände erfordern. Wir schlagen Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO²) vor, ein hybrides RL-Framework, das Gedächtnis für die Exploration nutzt und On- und Off-Policy-Updates kombiniert, um LLMs sowohl mit Gedächtnis leistungsfähig zu machen als auch Robustheit ohne dieses zu gewährleisten. Auf ScienceWorld und WebShop erzielt EMPO² eine Verbesserung von 128,6 % bzw. 11,3 % gegenüber GRPO. Darüber hinaus zeigt EMPO² in Out-of-Distribution-Tests eine überlegene Anpassungsfähigkeit an neue Aufgaben, die nur wenige Versuche mit Gedächtnis und keine Parameteraktualisierungen erfordert. Diese Ergebnisse unterstreichen EMPO² als vielversprechendes Framework für den Aufbau explorativerer und generalisierbarer LLM-basierter Agenten.
English
Exploration remains the key bottleneck for large language model agents trained with reinforcement learning. While prior methods exploit pretrained knowledge, they fail in environments requiring the discovery of novel states. We propose Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO^2), a hybrid RL framework that leverages memory for exploration and combines on- and off-policy updates to make LLMs perform well with memory while also ensuring robustness without it. On ScienceWorld and WebShop, EMPO^2 achieves 128.6% and 11.3% improvements over GRPO, respectively. Moreover, in out-of-distribution tests, EMPO^2 demonstrates superior adaptability to new tasks, requiring only a few trials with memory and no parameter updates. These results highlight EMPO^2 as a promising framework for building more exploratory and generalizable LLM-based agents.