EvoArena: Seguimiento de la Evolución de la Memoria para Agentes LLM Robustos en Entornos Dinámicos

Resumen

Los agentes basados en modelos de lenguaje de gran escala (LLM) han logrado un rendimiento sólido en una amplia variedad de puntos de referencia, aunque la mayoría de las evaluaciones asumen entornos estáticos. En contraste, el despliegue en el mundo real es inherentemente dinámico, lo que exige que los agentes ajusten continuamente sus conocimientos, habilidades y comportamiento a entornos cambiantes y condiciones de tareas actualizadas. Para abordar esta brecha, presentamos EvoArena, un conjunto de puntos de referencia que modela los cambios en el entorno como secuencias de actualizaciones progresivas en los dominios terminal, software y social. Además, proponemos EvoMem, un paradigma de memoria basado en parches que registra la evolución de la memoria como historiales de actualización estructurados, permitiendo que los agentes razonen sobre la evolución del entorno a través de cambios en su memoria. Los experimentos muestran que los agentes actuales tienen dificultades en EvoArena, alcanzando una precisión promedio del 39.6% en los dominios evolutivos terminal, software y de preferencias sociales. EvoMem mejora consistentemente el rendimiento, logrando una ganancia promedio del 1.5% en EvoArena y también mejorando puntos de referencia estándar como GAIA y LoCoMo en un 6.1% y un 4.8%, respectivamente. Más allá de tareas individuales, EvoMem mejora aún más la precisión a nivel de cadena en un 3.7% en EvoArena, donde el éxito requiere completar una secuencia consecutiva de subtareas evolutivas relacionadas. El análisis mecanicista muestra que EvoMem mejora la captura de evidencia en la memoria, lo que indica una mejor preservación de los estados completos del entorno en evolución. Nuestros resultados resaltan la importancia de modelar la evolución tanto en la evaluación como en la memoria para un despliegue fiable de agentes.

English

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.