MemSyco-Bench: Benchmarking von Sycophantie im Agentengedächtnis

Zusammenfassung

Das Gedächtnis hat sich zu einem Eckpfeiler moderner LLM-basierter Agenten entwickelt und unterstützt deren Entwicklung von Einzelinteraktionsassistenten hin zu langfristigen Kollaborateuren. Allerdings ist das Gedächtnis nicht immer vorteilhaft: Abgerufene Erinnerungen führen häufig zu einem kritischen Problem der Sycophancy, das dazu führt, dass Agenten sich übermäßig an den Benutzer anpassen – auf Kosten der faktischen Genauigkeit oder objektiven Argumentation. Trotz dieses aufkommenden Risikos bewerten bestehende Gedächtnis-Benchmarks hauptsächlich, ob Erinnerungen korrekt gespeichert, abgerufen oder aktualisiert werden, während sie übersehen, wie abgerufene Erinnerungen nachgelagerte Schlussfolgerungen und Entscheidungen beeinflussen. Um diese Lücke zu schließen, schlagen wir MemSyco-Bench vor, einen umfassenden Benchmark zur Bewertung gedächtnisinduzierter Sycophancy in Agentensystemen. MemSyco-Bench misst, wann das Gedächtnis eine Entscheidung beeinflussen sollte und wie gültige Erinnerungen genutzt werden sollten. Konkret umfasst es fünf Aufgaben, die bewerten, ob Agenten Erinnerungen als faktische Beweise ablehnen können, deren Anwendungsbereich respektieren, Konflikte zwischen Erinnerung und objektiven Beweisen lösen, Gedächtnisaktualisierungen nachvollziehen und gültige Erinnerungen zur Personalisierung nutzen können. Alle zugehörigen Ressourcen werden der Community unter https://github.com/XMUDeepLIT/MemSyco-Bench zur Verfügung gestellt.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.