MemSyco-Bench: Бенчмаркинг сикофантии в памяти агентов

Аннотация

Память стала краеугольным камнем современных агентов на основе больших языковых моделей (LLM), обеспечивая их эволюцию от одношаговых ассистентов до долгосрочных коллабораторов. Однако память не всегда полезна: извлеченные воспоминания часто вызывают критическую проблему подхалимства, заставляя агентов чрезмерно подстраиваться под пользователя в ущерб фактической точности или объективному рассуждению. Несмотря на возникающий риск, существующие бенчмарки памяти в основном оценивают, правильно ли воспоминания хранятся, извлекаются или обновляются, упуская из виду, как извлеченные воспоминания влияют на последующие рассуждения и принятие решений. Чтобы восполнить этот пробел, мы предлагаем MemSyco-Bench — комплексный бенчмарк для оценки подхалимства, вызванного памятью, в системах агентов. MemSyco-Bench измеряет, когда память должна влиять на решение и как следует использовать валидные воспоминания. В частности, он охватывает пять задач, оценивающих, способны ли агенты отвергать память как фактическое свидетельство, учитывать сферу ее применимости, разрешать конфликты между памятью и объективными данными, отслеживать обновления памяти и использовать валидные воспоминания для персонализации. Все соответствующие ресурсы собраны для сообщества по адресу https://github.com/XMUDeepLIT/MemSyco-Bench.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.