空間記憶エージェント：空間知能のための経験に基づく手続き記憶

要旨

空間知能は、身体化エージェント、ロボット計画、マルチモーダルアシスタントの基盤となりつつある。VLMエージェントの空間推論能力を向上させるため、既存研究は主に2つの方向性を採ってきた。1つは、教師ありファインチューニングや強化学習などのポストトレーニング手法を用いるものである。もう1つは、モデルが深度推定や3次元再構成ツールなどの外部空間ツールを呼び出し、中間的な空間的証拠を収集するエージェント的パラダイムを採用するものである。我々は、それらと相補的でありながら未開拓の経路を研究する。すなわち、凍結されたVLMエージェントが、推論時に外部の専門空間ツールに依存せず、パラメータ更新を伴わない自己進化によって空間推論を改善できるだろうか、という問いである。我々は、検証済みの空間経験を再利用可能で転移可能な教訓に変換する、経験に基づくランタイムフレームワークである空間メモリエージェント（SMA）を提案する。検証可能な空間環境において、SMAは凍結されたVLMに問い合わせ、予測回答と報酬を取得し、検証器誘導型のリフレクションを用いて空間経験から簡潔で転移可能な教訓を蒸留する。さらにSMAは、各教訓に転移信頼性スコア（TRS）を割り当てる。TRSは一様に初期化され、その後の検索結果を将来の転移信頼性に関する訪問証拠として用いて校正される。読み取り専用のデプロイ時、SMAは意味フィルタと類似度-TRS複合ランキングによって教訓を検索し、検索されたメモリが凍結モデルの推論を導くことを可能にする。5つの代表的な空間ベンチマークと4つのベースVLMにわたって、SMAはすべてのベースモデルブロックでマクロ平均が最高となり、20件の評価の大部分で評価対象手法の中で最高精度を達成し、評価した凍結モデルの規模と環境にわたる空間的自己進化のための実用的なパラメータ更新不要の経路を確立する。

English

Spatial intelligence is becoming a foundation for embodied agents, robotic planning, and multimodal assistants. To improve the spatial reasoning ability of VLM agents, existing work has mainly followed two lines. One line uses post-training methods, such as supervised fine-tuning and reinforcement learning. Another line adopts an agentic paradigm in which the model calls external spatial tools, such as depth estimation and 3D reconstruction tools, to gather intermediate spatial evidence. We study a complementary and underexplored route: Can a frozen VLM agent improve its spatial reasoning through parameter-update-free self-evolution, without depending on external expert spatial tools at inference time? We present Spatial Memory Agent (SMA), an experience-grounded runtime framework that converts verified spatial experience into reusable transferable lessons. In a verifiable spatial environment, SMA queries the frozen VLM, obtains a predicted answer and reward, and uses verifier-guided reflection to distill compact transferable lessons from spatial experience. SMA further assigns each lesson a Transfer Reliability Score (TRS), which is initialized uniformly and calibrated from later retrieval outcomes as visit evidence of future transfer reliability. During read-only deployment, SMA retrieves lessons by semantic filter and similarity-TRS combined ranking, allowing the retrieved memory to guide frozen model inference. Across five representative spatial benchmarks and four base VLMs, SMA achieves the highest macro average in every base-model block and the best accuracy among the evaluated methods in most of the 20 evaluations, establishing a practical parameter-update-free path for spatial self-evolution across the evaluated frozen model scales and environments.