Исследовательский агент на основе больших языковых моделей с расширенной памятью посредством гибридной оптимизации по стратегии и вне стратегии
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
February 26, 2026
Авторы: Zeyuan Liu, Jeonghye Kim, Xufang Luo, Dongsheng Li, Yuqing Yang
cs.AI
Аннотация
Исследовательская деятельность остается ключевым узким местом для агентов на основе больших языковых моделей, обученных с помощью обучения с подкреплением. В то время как существующие методы используют предварительно обученные знания, они терпят неудачу в средах, требующих открытия новых состояний. Мы предлагаем Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO²) — гибридную框架 RL, которая использует память для исследования и объединяет он- и офф-политичные обновления, чтобы обеспечить высокую производительность LLM с памятью, а также надежность без нее. На ScienceWorld и WebShop EMPO² демонстрирует улучшение на 128,6% и 11,3% соответственно по сравнению с GRPO. Более того, в тестах на выходе из распределения EMPO² показывает превосходную адаптируемость к новым задачам, требуя всего нескольких попыток с памятью и без обновления параметров. Эти результаты подчеркивают EMPO² как перспективную框架 для создания более исследовательских и обобщаемых агентов на основе LLM.
English
Exploration remains the key bottleneck for large language model agents trained with reinforcement learning. While prior methods exploit pretrained knowledge, they fail in environments requiring the discovery of novel states. We propose Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO^2), a hybrid RL framework that leverages memory for exploration and combines on- and off-policy updates to make LLMs perform well with memory while also ensuring robustness without it. On ScienceWorld and WebShop, EMPO^2 achieves 128.6% and 11.3% improvements over GRPO, respectively. Moreover, in out-of-distribution tests, EMPO^2 demonstrates superior adaptability to new tasks, requiring only a few trials with memory and no parameter updates. These results highlight EMPO^2 as a promising framework for building more exploratory and generalizable LLM-based agents.