MemSyco-Bench : Analyse comparative du sycophantisme dans la mémoire d’agent

Résumé

La mémoire est devenue une pierre angulaire des agents modernes basés sur les LLM, soutenant leur évolution depuis des assistants à échange unique jusqu'à des collaborateurs à long terme. Cependant, la mémoire n'est pas toujours bénéfique : les souvenirs récupérés induisent souvent un problème critique de sycophantisme, poussant les agents à se sur-aligner sur l'utilisateur au détriment de l'exactitude factuelle ou du raisonnement objectif. Malgré ce risque émergent, les benchmarks existants sur la mémoire évaluent principalement si les souvenirs sont correctement stockés, récupérés ou mis à jour, tout en négligeant la manière dont les souvenirs récupérés influencent le raisonnement et la prise de décision en aval. Pour combler cette lacune, nous proposons MemSyco-Bench, un benchmark complet pour évaluer le sycophantisme induit par la mémoire dans les systèmes d'agents. MemSyco-Bench mesure quand la mémoire doit influencer une décision et comment utiliser correctement une mémoire valide. Plus précisément, il couvre cinq tâches qui évaluent si les agents peuvent rejeter la mémoire comme preuve factuelle, respecter son champ d'application, résoudre les conflits entre la mémoire et les preuves objectives, suivre les mises à jour de la mémoire, et utiliser une mémoire valide pour la personnalisation. Toutes les ressources associées sont rassemblées pour la communauté à l'adresse https://github.com/XMUDeepLIT/MemSyco-Bench.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.