基盤モデルを物理世界エージェントへとスキャフォールディングすることで、長期的ナビゲーションの最前線を切り拓く

要旨

長期的な物理世界エージェントは、遠い目標について推論しつつ、信頼できる閉ループ行動に決定を接地しなければならない。今日の基盤モデルはこれらの能力を分割している。視覚言語モデル（VLM）は欠落情報を推定し高レベル計画を適応させるが、反復的なナビゲーション接地には脆弱で非効率的である。一方、ナビゲーション基盤モデル（NFM）は意味的ゴールを堅牢に実行するが、持続的なタスクレベル推論を欠いた限定されたエピソードとして動作する。我々はNavMCPを紹介する。これは、長期的探索のためにVLM推論エージェントとNFM実行器を結合するエージェント型スキャフォールディングフレームワークである。VLMはどの証拠を求めるか、どこを探索するか、いつ停止するかを決定し、NFMは各意味的サブゴールを閉ループナビゲーションに接地する。3つのチャネルがこの協調を構造化する。意図（intent）は証拠のニーズをナビゲーション呼び出しに変換し、観察（observation）はロールアウトを情報源に接地された軌跡証拠に変換し、記憶（memory）は発見、否定的証拠、未解決のゴールを呼び出し間で蓄積する。この設計により、どちらのモデルも再学習することなく、孤立したナビゲーションロールアウトを持続的な身体化相互作用へと変えることができる。身体化質問応答（Embodied Question Answering）において、NavMCPはHM-EQA、MT-HM3D、EXPRESS-Benchで最先端の結果を達成する。エージェントと実行器のバックボーンを一致させた設定では、HM-EQAにおいてエピソード型インターフェースを14.9パーセンテージポイント上回る。Unitree Go2では、NavMCPは78.3%の成功率を達成し、最強のベースラインに対する優位性はタスクのホライズンが長くなるにつれて10ポイントから45ポイントへ拡大する。これらの結果は、補完的な基盤モデルを長期的な物理世界エージェントへとスキャフォールディングする可能性を示している。

English

Long-horizon physical-world agents must reason over distant goals while grounding decisions in reliable closed-loop behavior. Today's foundation models split these capabilities: vision-language models (VLMs) infer missing information and adapt high-level plans but remain brittle and inefficient at repeated navigation grounding, while navigation foundation models (NFMs) robustly execute semantic goals but operate as bounded episodes without persistent task-level reasoning. We introduce NavMCP, an agentic scaffolding framework that couples a VLM reasoning agent with an NFM executor for long-horizon exploration. The VLM decides what evidence to seek, where to search, and when to stop, while the NFM grounds each semantic sub-goal into closed-loop navigation. Three channels structure their collaboration: intent translates evidence needs into navigation calls, observation converts rollouts into source-grounded trajectory evidence, and memory accumulates findings, negative evidence, and unresolved goals across calls. This design turns isolated navigation rollouts into persistent embodied interaction without retraining either model. On Embodied Question Answering, NavMCP achieves state-of-the-art results on HM-EQA, MT-HM3D, and EXPRESS-Bench. Under matched agent and executor backbones, it outperforms an episodic interface by 14.9 percentage points on HM-EQA. On a Unitree Go2, NavMCP reaches 78.3% success, with its margin over the strongest baseline growing from 10 to 45 points as the task horizon increases. These results demonstrate the potential of scaffolding complementary foundation models into long-horizon physical-world agents.