**Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence** → **공간 기억 에이전트: 공간 지능을 위한 경험 기반 절차 기억** --- 주요 용어 해설: - **Spatial Memory Agent** → "공간 기억 에이전트" (Spatial Memory를 '공간 메모리'로 음역하지 않고, 인지과학에서 통용되는 '공간 기억'으로 번역) - **Experience-Grounded** → "경험 기반" (경험에 근거하여 grounded됨을 강조) - **Procedure Memory** → "절차 기억" (인지심리학/신경과학의 표준 용어인 procedural memory를 따름) - **Spatial Intelligence** → "공간 지능"

초록

공간 지능은 구현형 에이전트, 로봇 계획, 멀티모달 어시스턴트의 기반이 되어가고 있다. VLM 에이전트의 공간 추론 능력을 향상시키기 위해 기존 연구는 주로 두 가지 방향을 따라 진행되었다. 하나는 지도 미세 조정과 강화 학습과 같은 사후 학습(post-training) 방법을 사용하는 것이다. 다른 하나는 모델이 깊이 추정 및 3D 재구성 도구와 같은 외부 공간 도구를 호출하여 중간 공간 증거를 수집하는 에이전트 패러다임을 채택하는 것이다. 본 연구는 이와 보완적이면서도 충분히 탐구되지 않은 경로를 다룬다: 동결된(frozen) VLM 에이전트가 추론 시점에 외부 전문 공간 도구에 의존하지 않고, 파라미터 업데이트가 없는 자기 진화를 통해 공간 추론을 향상시킬 수 있는가? 우리는 검증된 공간 경험을 재사용 가능하고 전이 가능한 교훈으로 변환하는 경험 기반 런타임 프레임워크인 SMA(Spatial Memory Agent)를 제시한다. 검증 가능한 공간 환경에서 SMA는 동결된 VLM을 질의하여 예측 답변과 보상을 얻고, 검증기 기반 반성(verifier-guided reflection)을 통해 공간 경험에서 간결하고 전이 가능한 교훈을 증류해 낸다. SMA는 각 교훈에 전이 신뢰도 점수(TRS: Transfer Reliability Score)를 추가로 할당하는데, 이 점수는 균일하게 초기화된 후 이후 검색 결과로부터 보정되어 향후 전이 신뢰성에 대한 방문 증거로 기능한다. 읽기 전용 배포 단계에서 SMA는 의미론적 필터와 유사도-TRS 결합 순위를 통해 교훈을 검색하며, 검색된 기억이 동결된 모델의 추론을 안내할 수 있게 한다. 다섯 개의 대표적 공간 벤치마크와 네 개의 기본 VLM에 걸친 평가에서 SMA는 모든 기본 모델 블록에서 가장 높은 매크로 평균을 달성했고, 20개 평가 중 대부분에서 평가 대상 방법 중 최고의 정확도를 기록하여, 평가된 동결 모델 규모와 환경 전반에 걸쳐 공간 자기 진화를 위한 실용적인 파라미터 업데이트 없는 경로를 확립한다.

English

Spatial intelligence is becoming a foundation for embodied agents, robotic planning, and multimodal assistants. To improve the spatial reasoning ability of VLM agents, existing work has mainly followed two lines. One line uses post-training methods, such as supervised fine-tuning and reinforcement learning. Another line adopts an agentic paradigm in which the model calls external spatial tools, such as depth estimation and 3D reconstruction tools, to gather intermediate spatial evidence. We study a complementary and underexplored route: Can a frozen VLM agent improve its spatial reasoning through parameter-update-free self-evolution, without depending on external expert spatial tools at inference time? We present Spatial Memory Agent (SMA), an experience-grounded runtime framework that converts verified spatial experience into reusable transferable lessons. In a verifiable spatial environment, SMA queries the frozen VLM, obtains a predicted answer and reward, and uses verifier-guided reflection to distill compact transferable lessons from spatial experience. SMA further assigns each lesson a Transfer Reliability Score (TRS), which is initialized uniformly and calibrated from later retrieval outcomes as visit evidence of future transfer reliability. During read-only deployment, SMA retrieves lessons by semantic filter and similarity-TRS combined ranking, allowing the retrieved memory to guide frozen model inference. Across five representative spatial benchmarks and four base VLMs, SMA achieves the highest macro average in every base-model block and the best accuracy among the evaluated methods in most of the 20 evaluations, establishing a practical parameter-update-free path for spatial self-evolution across the evaluated frozen model scales and environments.