MemSyco-Bench: Evaluación comparativa de la adulación en la memoria del agente

Resumen

La memoria se ha consolidado como un pilar fundamental de los agentes modernos basados en LLM, apoyando su evolución desde asistentes de una sola interacción hasta colaboradores a largo plazo. Sin embargo, la memoria no siempre es beneficiosa: las memorias recuperadas suelen inducir un problema crítico de adulación servil, provocando que los agentes se alineen excesivamente con el usuario a costa de la precisión fáctica o el razonamiento objetivo. A pesar de este riesgo emergente, los benchmarks de memoria existentes evalúan principalmente si las memorias se almacenan, recuperan o actualizan correctamente, sin considerar cómo las memorias recuperadas influyen en el razonamiento y la toma de decisiones posteriores. Para cerrar esta brecha, proponemos MemSyco-Bench, un benchmark integral para evaluar la adulación servil inducida por la memoria en sistemas de agentes. MemSyco-Bench mide cuándo la memoria debería influir en una decisión y cómo se debe utilizar la memoria válida. Específicamente, cubre cinco tareas que evalúan si los agentes pueden rechazar la memoria como evidencia fáctica, respetar su alcance aplicable, resolver conflictos entre la memoria y la evidencia objetiva, rastrear actualizaciones de memoria y utilizar la memoria válida para la personalización. Todos los recursos relacionados están recopilados para la comunidad en https://github.com/XMUDeepLIT/MemSyco-Bench.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.