EvoArena: Het volgen van geheugenevolutie voor robuuste LLM-agenten in dynamische omgevingen

Samenvatting

Grote taalmodellen (LLM)-agenten hebben sterke prestaties behaald op een breed scala aan benchmarks, maar de meeste evaluaties gaan uit van statische omgevingen. In de praktijk is implementatie in de echte wereld echter inherent dynamisch, waardoor agenten hun kennis, vaardigheden en gedrag continu moeten afstemmen op veranderende omgevingen en bijgewerkte taakcondities. Om deze kloof te overbruggen, introduceren we EvoArena, een benchmark suite die omgevingsveranderingen modelleert als reeksen van progressieve updates in terminal-, software- en sociale domeinen. We stellen verder EvoMem voor, een patch-gebaseerd geheugenparadigma dat geheugenevolutie vastlegt als gestructureerde updategeschiedenissen, waardoor agenten kunnen redeneren over omgevingsevolutie aan de hand van veranderingen in hun geheugen. Experimenten tonen aan dat huidige agenten moeite hebben met EvoArena, met een gemiddelde nauwkeurigheid van 39,6% in evoluerende terminal-, software- en sociale-voorkeursdomeinen. EvoMem verbetert consistent de prestaties, met een gemiddelde winst van 1,5% op EvoArena en verbetert ook standaard benchmarks zoals GAIA en LoCoMo met respectievelijk 6,1% en 4,8%. Naast individuele taken verbetert EvoMem de accuraatheid op ketenniveau met 3,7% op EvoArena, waarbij succes vereist dat een aaneengesloten reeks van gerelateerde evolutionaire subtaken wordt voltooid. Mechanistische analyse toont aan dat EvoMem de bewijsvastlegging in het geheugen verbetert, wat duidt op een betere instandhouding van volledige evoluerende omgevingstoestanden. Onze resultaten benadrukken het belang van het modelleren van evolutie in zowel evaluatie als geheugen voor betrouwbare inzet van agenten.

English

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.