記憶が嘘をつくとき：VLMエージェントにおける空間記憶の陳腐化に関する実証研究

要旨

メモリ拡張型VLMエージェントは永続的な空間的知識に基づいて行動するが、環境が変化するにつれてその知識は黙って陳腐化する。本研究では、エージェントが確信度の高いメモリの主張と矛盾する観察を整合させなければならない場合に何が起こるか、そして現在のモデルがその矛盾を安全に関わるミスに発展する前に検出できるかを問う。動的なFrozenLakeテストベッドを用いて、陳腐化検出タスクと下流のナビゲーションタスクをペアにし、3つのクローズドソースモデルと3つのオープンウェイトVLMをテキスト入力と画像入力の両方で評価した（1,800回の検出実行、および共通50シード規模で4つのLLMナビゲーターにわたる12,000エピソードのテキストモードナビゲーション）。3つの知見が得られた。第一に、テキストでの解決可能性は視覚的接地を意味しない。すなわち、テキストから陳腐化したエントリを確実に検出できるモデルであっても、同一グリッド上での視覚F1は0.887から0.067までばらつき、最も弱いモデルは画像を無視した流暢で自信に満ちた意思決定を続けた。第二に、検証なしで陳腐化したメモリを使用することは安全上の負債となる。主要なGPT-4o設定では、生のメモリを信頼するエージェントは、メモリを一切与えられない同じエージェントの2倍以上頻繁に死亡した。第三に、検証は役立つがギャップを埋めるには至らない。透過的な読み取り時フィルタはテキストモードでの安全コストの大部分を除去するが、現在のグリッドサイズではオラクルによる陳腐化ラベルでさえさらなる有意な改善をもたらさず、視覚的検証が信頼できない場合にはフィルタリングは一貫した効果を生まない。これらの結果は、空間メモリの陳腐化を安全上の障害モードとして位置づけ、メモリと観察の矛盾下での信頼できる視覚的接地と行動選択を、メモリ拡張エージェントの中心的な未解決課題として特定するものである。

English

Memory-augmented VLM agents act on persistent spatial knowledge, yet that knowledge silently goes stale as the environment changes. We ask what happens when an agent must reconcile a confident memory claim with a contradicting observation, and whether current models can catch the conflict before it becomes a safety-relevant mistake. Using a dynamic FrozenLake testbed, we pair a staleness-detection task with a downstream navigation task across three closed-source models and three open-weight VLMs under both text and image inputs (1,800 detection runs, and 12,000 text-mode navigation episodes over four LLM navigators at a shared 50-seed scale). Three findings emerge. First, text solvability does not imply visual grounding: models that flag stale entries reliably from text nonetheless span vision F1 from 0.887 down to 0.067 on the identical grids, and the weakest keeps making fluent, confident decisions that ignore the image. Second, consuming stale memory without an audit is a safety liability: in our primary GPT-4o setting, an agent that trusts raw memory dies more than twice as often as the same agent given no memory at all. Third, auditing helps but does not close the gap: a transparent read-time filter removes much of the safety cost in text mode, yet even oracle stale labels bring no further significant gain on the current grid size, and when visual auditing is unreliable, filtering yields no consistent benefit. Together these results frame spatial-memory staleness as a safety failure mode and isolate reliable visual grounding and action selection under memory--observation conflict as the central open challenges for memory-augmented agents.