MemSyco-Bench: Een benchmark voor vleierij in agentgeheugen

Samenvatting

Geheugen is uitgegroeid tot een hoeksteen van moderne op LLM gebaseerde agenten, en ondersteunt hun evolutie van eenmalige assistenten naar langdurige samenwerkingspartners. Geheugen is echter niet altijd gunstig: opgehaalde herinneringen veroorzaken vaak een kritiek probleem van vleierij, waardoor agenten te veel afstemmen op de gebruiker ten koste van feitelijke nauwkeurigheid of objectieve redenering. Ondanks dit opkomende risico evalueren bestaande geheugenbenchmarks voornamelijk of herinneringen correct worden opgeslagen, opgehaald of bijgewerkt, terwijl ze over het hoofd zien hoe opgehaalde herinneringen de stroomafwaartse redenering en besluitvorming beïnvloeden. Om deze kloof te overbruggen, stellen we MemSyco-Bench voor, een uitgebreide benchmark voor het evalueren van geheugen-geïnduceerde vleierij in agentsystemen. MemSyco-Bench meet wanneer geheugen een beslissing zou moeten beïnvloeden en hoe geldig geheugen moet worden gebruikt. Specifiek omvat het vijf taken die beoordelen of agenten geheugen kunnen afwijzen als feitelijk bewijs, de toepasbare reikwijdte ervan respecteren, conflicten tussen geheugen en objectief bewijs oplossen, geheugenupdates bijhouden en geldig geheugen gebruiken voor personalisatie. Alle gerelateerde bronnen zijn verzameld voor de gemeenschap op https://github.com/XMUDeepLIT/MemSyco-Bench.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.