MemTrapBench: LLM 메모리 사용에서의 인지적 함정 벤치마킹

초록

메모리는 대규모 언어 모델의 핵심 구성 요소가 되었으며, 장기적인 상호작용에서 정보를 유지하고 학습할 수 있게 한다. 그러나 기존 메모리 벤치마크는 주로 정보가 올바르게 추출·저장·검색되는지 여부만 평가하며, 검색된 메모리가 모델의 추론을 어떻게 재구성하고 현재 과제 성능에 영향을 미치는지는 대체로 간과한다. 우리는 메모리 유발 인지적 함정(memory-induced cognitive traps)을 식별한다: 충실하게 기록되고 의미적으로 관련된 메모리조차도 모델의 추론이나 신념을 왜곡하고 현재 과제 성능을 저하시킬 수 있다. 이러한 실패 모드를 체계적으로 평가하기 위해, 우리는 MemTrapBench를 제안한다. 이는 추론 고착(Reasoning Fixation)과 신념 왜곡(Belief Distortion)이라는 두 가지 형태의 인지적 함정을 다룬다. 두 모델 계열과 다섯 가지 대표적 메모리 프레임워크에 걸친 실험 결과, MemTrapBench가 도전적임을 보여준다: 평가된 모든 메모리 전략은 메모리 없는 설정보다 성능이 낮았으며, 가장 강력한 방법조차도 10% 이상의 성능 하락을 겪었다. 이러한 인지적 함정을 완화하기 위해, 우리는 LLM이 메모리 함정을 피하도록 지시하는 간단하면서도 효과적인 추론 시점 방법인 AdaptiveMem을 제안한다. AdaptiveMem은 MemTrapBench에서 인지적 함정을 완화하면서도 다양한 메모리 프레임워크에서 표준 메모리 벤치마크의 성능을 유지하거나 개선한다.

English

Memory has become a key component of large language models, enabling them to retain information and learn from long-term interactions. However, existing memory benchmarks mainly evaluate whether information is correctly extracted, stored, and retrieved, while largely overlooking how retrieved memories reshape model reasoning and affect performance on the current task. We identify memory-induced cognitive traps: even faithfully recorded and semantically relevant memories can distort model reasoning or beliefs and degrade current task performance. To systematically evaluate these failure modes, we introduce MemTrapBench, which covers two forms of cognitive traps: Reasoning Fixation and Belief Distortion. Experiments across two model families and five representative memory frameworks show that MemTrapBench is challenging: all evaluated memory strategies underperform the no-memory setting, with even the strongest methods suffering drops of more than 10%. To mitigate these cognitive traps, we propose AdaptiveMem, a simple yet effective inference-time method that instructs LLMs to avoid memory traps. AdaptiveMem mitigates cognitive traps on MemTrapBench while preserving or improving performance on standard memory benchmarks across diverse memory frameworks.