기억이 거짓말할 때: VLM 에이전트의 공간 기억 유효성 상실에 관한 실증 연구

초록

메모리 증강 VLM 에이전트는 지속적인 공간 지식에 의존하여 행동하지만, 환경이 변화함에 따라 그러한 지식은 조용히 낡아간다. 우리는 에이전트가 확신에 찬 기억 주장과 모순되는 관찰을 조정해야 할 때 어떤 일이 발생하는지, 그리고 현재 모델이 안전 관련 오류가 되기 전에 해당 충돌을 포착할 수 있는지 묻는다. 동적 FrozenLake 테스트베드를 사용하여, 세 개의 폐쇄 소스 모델과 세 개의 오픈 웨이트 VLM을 대상으로 텍스트 및 이미지 입력 조건에서 스테일 탐지 작업과 다운스트림 내비게이션 작업을 짝지어 평가했다(1,800회 탐지 실행, 공통 50-시드 규모에서 4개의 LLM 내비게이터에 걸친 12,000회 텍스트 모드 내비게이션 에피소드). 세 가지 결과가 도출되었다. 첫째, 텍스트 해결 가능성은 시각적 그라운딩을 함의하지 않는다. 텍스트만으로 스테일 항목을 안정적으로 탐지하는 모델들조차 동일한 그리드에서 시각 F1이 0.887에서 0.067에 이르는 분포를 보였으며, 가장 약한 모델은 이미지를 무시하면서도 유창하고 확신에 찬 결정을 계속 내렸다. 둘째, 검증 없이 스테일 메모리를 소비하는 것은 안전상의 부담이다. 주요 GPT-4o 설정에서 원시 메모리를 신뢰하는 에이전트는 메모리를 전혀 제공받지 않은 동일 에이전트보다 사망률이 두 배 이상 높았다. 셋째, 검증은 도움이 되지만 격차를 해소하지는 못한다. 투명한 읽기 시점 필터는 텍스트 모드에서 안전 비용의 상당 부분을 제거하지만, 오라클 스테일 레이블조차 현재 그리드 크기에서는 추가적인 유의미한 이득을 가져오지 못하며, 시각적 검증이 신뢰할 수 없는 경우 필터링은 일관된 이점을 제공하지 않는다. 이러한 결과는 공간 메모리 스테일을 안전 실패 모드로 규정하며, 메모리-관찰 충돌 상황에서의 신뢰할 수 있는 시각적 그라운딩과 행동 선택을 메모리 증강 에이전트의 핵심 미해결 과제로 지목한다.

English

Memory-augmented VLM agents act on persistent spatial knowledge, yet that knowledge silently goes stale as the environment changes. We ask what happens when an agent must reconcile a confident memory claim with a contradicting observation, and whether current models can catch the conflict before it becomes a safety-relevant mistake. Using a dynamic FrozenLake testbed, we pair a staleness-detection task with a downstream navigation task across three closed-source models and three open-weight VLMs under both text and image inputs (1,800 detection runs, and 12,000 text-mode navigation episodes over four LLM navigators at a shared 50-seed scale). Three findings emerge. First, text solvability does not imply visual grounding: models that flag stale entries reliably from text nonetheless span vision F1 from 0.887 down to 0.067 on the identical grids, and the weakest keeps making fluent, confident decisions that ignore the image. Second, consuming stale memory without an audit is a safety liability: in our primary GPT-4o setting, an agent that trusts raw memory dies more than twice as often as the same agent given no memory at all. Third, auditing helps but does not close the gap: a transparent read-time filter removes much of the safety cost in text mode, yet even oracle stale labels bring no further significant gain on the current grid size, and when visual auditing is unreliable, filtering yields no consistent benefit. Together these results frame spatial-memory staleness as a safety failure mode and isolate reliable visual grounding and action selection under memory--observation conflict as the central open challenges for memory-augmented agents.