MemSyco-Bench: エージェントメモリにおける迎合行動のベンチマーク

要旨

メモリは、現代のLLMベースのエージェントにおける基盤として登場し、シングルターンのアシスタントから長期的な協力者への進化を支えています。しかしながら、メモリは常に有益とは限りません。取得されたメモリはしばしば、追従（sycophancy）という重大な問題を引き起こし、エージェントが事実の正確性や客観的推論を犠牲にしてユーザーに過剰に同調する原因となります。この新たなリスクにもかかわらず、既存のメモリベンチマークは主に、メモリが正しく保存、取得、更新されるかどうかを評価するにとどまり、取得されたメモリが下流の推論や意思決定にどのように影響を与えるかを見落としています。このギャップを埋めるために、我々はMemSyco-Benchを提案します。これは、エージェントシステムにおけるメモリ起因の追従を評価するための包括的なベンチマークです。MemSyco-Benchは、いつメモリが判断に影響を与えるべきか、また有効なメモリをどのように使用すべきかを計測します。具体的には、エージェントがメモリを事実の証拠として却下できるか、その適用範囲を尊重するか、メモリと客観的証拠の間の矛盾を解決するか、メモリの更新を追跡するか、有効なメモリをパーソナライズに使用するかを評価する5つのタスクをカバーしています。関連するすべてのリソースはコミュニティのためにhttps://github.com/XMUDeepLIT/MemSyco-Benchに収集されています。

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.