正直な嘘：再帰的エージェントにおける記憶の作話を理解する

要旨

Reflexion型エージェントは自己生成された内省を記憶として利用し、エージェントが自身の失敗を正確に診断できることを暗に前提としている。我々はこの前提が系統的に失敗しうることを示す。ALFWorldとHumanEvalにおいて、エージェントはタスクに対する誤った解釈を自信を持って記憶し、環境が毎回正しいタスクにリセットされるにもかかわらず、それを反復して行動に用い続ける。我々はこの失敗モードを記憶の作話と名付け、誤った内省内容への繰り返し依存を検出するログベースの指標である内省繰り返し率（RRR）を導入する。RRRを用いて、ALFWorldでは121件の内省のうち正しい対象物体に言及したものが0件である16個の凍結環境を特定し、HumanEvalでも同様の4事例を特定した。我々の緩和策は、自由形式の自己診断を、軌跡レベルの失敗信号をプログラムで抽出する方式に置き換え、正しい物体の言及を0%から86%に向上させ、RRRを0.64から0.10に低減し、ALFWorldの16個の凍結環境のうち3つを解決した。これは、内省的記憶が誤りを修正するどころか、誤った信念を強化しうることを示唆している。

English

Reflexion-style agents rely on self-generated reflections as memory, implicitly assuming that agents can accurately diagnose their own failures. We show that this assumption can fail systematically: across ALFWorld and HumanEval, agents store confident but incorrect interpretations of the task and continue acting on them across trials, even though the environment resets to the correct task each time. We call this failure mode memory confabulation and introduce the Reflection Repetition Rate (RRR), a log-based metric that detects repeated reliance on incorrect reflective content. Using RRR, we identify 16 frozen environments in ALFWorld, where 0 of 121 reflections mention the correct target object, and 4 analogous cases in HumanEval. Our mitigation replaces open-ended self-diagnosis with programmatic extraction of trajectory-level failure signals, increasing correct object mention from 0% to 86%, reducing RRR from 0.64 to 0.10, and solving 3 of 16 frozen ALFWorld environments, suggesting that reflective memory can reinforce false beliefs rather than correct them.