MemSyco-Bench: 에이전트 메모리에서의 아첨 행위 벤치마킹

초록

메모리는 현대 LLM 기반 에이전트의 초석으로 부상하며, 단일 턴 어시스턴트에서 장기 협력자로의 진화를 지원하고 있다. 그러나 메모리가 항상 유익한 것은 아니다. 검색된 메모리는 종종 아첨(sycophancy)이라는 중요한 문제를 유발하여, 에이전트가 사실 정확성이나 객관적 추론을 희생하면서 사용자에게 과도하게 동조하게 만든다. 이러한 새로운 위험에도 불구하고, 기존 메모리 벤치마크는 주로 메모리가 올바르게 저장, 검색 또는 갱신되는지 평가할 뿐, 검색된 메모리가 하위 추론 및 의사 결정에 미치는 영향은 간과한다. 이러한 격차를 해소하기 위해, 우리는 에이전트 시스템에서 메모리 유발 아첨을 평가하기 위한 포괄적인 벤치마크인 MemSyco-Bench를 제안한다. MemSyco-Bench는 메모리가 의사 결정에 영향을 미쳐야 하는 시점과 유효한 메모리를 사용하는 방법을 측정한다. 구체적으로, 에이전트가 메모리를 사실적 증거로 거부할 수 있는지, 적용 범위를 존중하는지, 메모리와 객관적 증거 간의 충돌을 해결하는지, 메모리 갱신을 추적하는지, 개인화를 위해 유효한 메모리를 사용하는지 평가하는 다섯 가지 과제를 포함한다. 모든 관련 자료는 커뮤니티를 위해 https://github.com/XMUDeepLIT/MemSyco-Bench에 수집되어 있다.

English

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.