MemSyco-Bench: Benchmarking de Adulação na Memória de Agentes

Resumo

A memória emergiu como um elemento central dos agentes modernos baseados em LLM, impulsionando sua evolução de assistentes de turno único para colaboradores de longo prazo. No entanto, a memória nem sempre é benéfica: memórias recuperadas frequentemente induzem um problema crítico de bajulação (sycophancy), fazendo com que os agentes se alinhem excessivamente ao usuário em detrimento da precisão factual ou do raciocínio objetivo. Apesar desse risco emergente, os benchmarks de memória existentes avaliam principalmente se as memórias são corretamente armazenadas, recuperadas ou atualizadas, negligenciando como as memórias recuperadas influenciam o raciocínio subsequente e a tomada de decisão. Para preencher essa lacuna, propomos o MemSyco-Bench, um benchmark abrangente para avaliar a bajulação induzida por memória em sistemas de agentes. O MemSyco-Bench mede quando a memória deve influenciar uma decisão e como a memória válida deve ser utilizada. Especificamente, ele abrange cinco tarefas que avaliam se os agentes conseguem rejeitar a memória como evidência factual, respeitar seu escopo de aplicação, resolver conflitos entre memória e evidências objetivas, rastrear atualizações de memória e usar memória válida para personalização. Todos os recursos relacionados estão disponíveis para a comunidade em https://github.com/XMUDeepLIT/MemSyco-Bench.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.