EvoArena: Отслеживание эволюции памяти для устойчивых агентов LLM в динамических средах

Аннотация

Агенты на основе больших языковых моделей (LLM) добились высоких результатов на широком спектре бенчмарков, однако большинство оценок предполагают статические среды. Напротив, развертывание в реальном мире изначально динамично, требуя от агентов постоянного согласования своих знаний, навыков и поведения с изменяющимися средами и обновленными условиями задач. Чтобы восполнить этот пробел, мы представляем EvoArena — набор бенчмарков, который моделирует изменения среды как последовательности прогрессивных обновлений в терминальной, программной и социальной областях. Кроме того, мы предлагаем EvoMem — парадигму памяти на основе патчей, которая записывает эволюцию памяти в виде структурированных историй обновлений, позволяя агентам рассуждать об эволюции среды через изменения в своей памяти. Эксперименты показывают, что современные агенты испытывают трудности на EvoArena, достигая средней точности 39,6% в эволюционирующих терминальных, программных и социально-предпочтительных областях. EvoMem последовательно улучшает производительность, обеспечивая средний прирост на 1,5% на EvoArena, а также улучшая стандартные бенчмарки, такие как GAIA и LoCoMo, на 6,1% и 4,8%. Помимо отдельных задач, EvoMem дополнительно улучшает точность на уровне цепочек на 3,7% на EvoArena, где успех требует выполнения последовательной серии связанных эволюционных подзадач. Механистический анализ показывает, что EvoMem улучшает захват свидетельств в памяти, что указывает на лучшее сохранение полных эволюционирующих состояний среды. Наши результаты подчеркивают важность моделирования эволюции как в оценке, так и в памяти для надежного развертывания агентов.

English

Large language model (LLM) agents have achieved strong performance on a wide range of benchmarks, yet most evaluations assume static environments. In contrast, real-world deployment is inherently dynamic, requiring agents to continually align their knowledge, skills, and behavior with changing environments and updated task conditions. To address this gap, we introduce EvoArena, a benchmark suite that models environment changes as sequences of progressive updates across terminal, software, and social domains. We further propose EvoMem, a patch-based memory paradigm that records memory evolution as structured update histories, enabling agents to reason about environmental evolution through changes in their memory. Experiments show that current agents struggle on EvoArena, achieving an average accuracy of 39.6% across evolving terminal, software, and social-preference domains. EvoMem consistently improves performance, yielding an average gain of 1.5% on EvoArena and also improving standard benchmarks such as GAIA and LoCoMo by 6.1% and 4.8%. Beyond individual tasks, EvoMem further improves chain-level accuracy by 3.7% on EvoArena, where success requires completing a consecutive sequence of related evolutionary subtasks. Mechanistic analysis shows that EvoMem improves evidence capture in the memory, indicating better preservation of complete evolving environment states. Our results highlight the importance of modeling evolution in both evaluation and memory for reliable agent deployment.