MemTrapBench：LLMの記憶使用における認知的罠のベンチマーキング

要旨

メモリは大規模言語モデルの中核的構成要素となり、情報の保持と長期的な相互作用からの学習を可能にしている。しかし、既存のメモリベンチマークは主に情報が正しく抽出・保存・検索されるかを評価するものであり、検索されたメモリがモデルの推論をどのように再形成し、現在のタスクの性能に影響を与えるかはほとんど考慮されていない。我々はメモリ誘発性認知トラップを特定する：忠実に記録され意味的に関連するメモリでさえ、モデルの推論や信念を歪め、現在のタスク性能を低下させ得る。これらの失敗モードを体系的に評価するため、我々はMemTrapBenchを導入する。これは推論固着と信念歪曲という2つの形態の認知トラップを対象とする。2つのモデルファミリーと5つの代表的なメモリフレームワークにわたる実験は、MemTrapBenchが困難であることを示している：評価されたすべてのメモリ戦略はメモリなし設定よりも低い性能を示し、最も強力な手法でさえ10%以上の低下を被る。これらの認知トラップを緩和するため、我々はAdaptiveMemを提案する。これはLLMにメモリトラップを回避するよう指示する、シンプルかつ効果的な推論時手法である。AdaptiveMemはMemTrapBench上の認知トラップを緩和すると同時に、多様なメモリフレームワークにわたる標準的なメモリベンチマークでの性能を維持または向上させる。

English

Memory has become a key component of large language models, enabling them to retain information and learn from long-term interactions. However, existing memory benchmarks mainly evaluate whether information is correctly extracted, stored, and retrieved, while largely overlooking how retrieved memories reshape model reasoning and affect performance on the current task. We identify memory-induced cognitive traps: even faithfully recorded and semantically relevant memories can distort model reasoning or beliefs and degrade current task performance. To systematically evaluate these failure modes, we introduce MemTrapBench, which covers two forms of cognitive traps: Reasoning Fixation and Belief Distortion. Experiments across two model families and five representative memory frameworks show that MemTrapBench is challenging: all evaluated memory strategies underperform the no-memory setting, with even the strongest methods suffering drops of more than 10%. To mitigate these cognitive traps, we propose AdaptiveMem, a simple yet effective inference-time method that instructs LLMs to avoid memory traps. AdaptiveMem mitigates cognitive traps on MemTrapBench while preserving or improving performance on standard memory benchmarks across diverse memory frameworks.