Agente LLM con Memoria Exploratoria mediante Optimización Híbrida On-Policy y Off-Policy
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
February 26, 2026
Autores: Zeyuan Liu, Jeonghye Kim, Xufang Luo, Dongsheng Li, Yuqing Yang
cs.AI
Resumen
La exploración sigue siendo el principal cuello de botella para los agentes de modelos de lenguaje grande entrenados con aprendizaje por refuerzo. Si bien los métodos previos aprovechan el conocimiento preentrenado, fracasan en entornos que requieren el descubrimiento de estados novedosos. Proponemos Optimización Híbrida con Memoria Exploratoria On- y Off-Policy (EMPO^2), un marco de aprendizaje por refuerzo híbrido que aprovecha la memoria para la exploración y combina actualizaciones on- y off-policy para que los LLM funcionen bien con memoria, asegurando también robustez sin ella. En ScienceWorld y WebShop, EMPO^2 logra mejoras del 128,6% y 11,3% respectivamente sobre GRPO. Además, en pruebas fuera de distribución, EMPO^2 demuestra una adaptabilidad superior a nuevas tareas, requiriendo solo pocos intentos con memoria y ninguna actualización de parámetros. Estos resultados destacan a EMPO^2 como un marco prometedor para construir agentes basados en LLM más exploratorios y generalizables.
English
Exploration remains the key bottleneck for large language model agents trained with reinforcement learning. While prior methods exploit pretrained knowledge, they fail in environments requiring the discovery of novel states. We propose Exploratory Memory-Augmented On- and Off-Policy Optimization (EMPO^2), a hybrid RL framework that leverages memory for exploration and combines on- and off-policy updates to make LLMs perform well with memory while also ensuring robustness without it. On ScienceWorld and WebShop, EMPO^2 achieves 128.6% and 11.3% improvements over GRPO, respectively. Moreover, in out-of-distribution tests, EMPO^2 demonstrates superior adaptability to new tasks, requiring only a few trials with memory and no parameter updates. These results highlight EMPO^2 as a promising framework for building more exploratory and generalizable LLM-based agents.