파운데이션 모델을 물리적 세계 에이전트로 확장하는 스캐폴딩이 장기 지평 내비게이션의 한계를 앞당긴다

초록

장기적 지평을 갖는 물리 세계 에이전트는 먼 목표에 대해 추론하면서도 신뢰할 수 있는 폐루프 행동에 근거하여 의사결정을 내려야 한다. 오늘날의 파운데이션 모델은 이러한 능력을 분리한다: 비전-언어 모델(VLM)은 누락된 정보를 추론하고 상위 수준 계획을 조정하지만, 반복적인 내비게이션 근거 부여에서는 취약하고 비효율적이다. 반면 내비게이션 파운데이션 모델(NFM)은 의미론적 목표를 강건하게 실행하지만, 지속적인 작업 수준 추론 없이 제한된 에피소드로만 작동한다. 우리는 장기적 탐험을 위해 VLM 추론 에이전트와 NFM 실행기를 결합하는 에이전트형 스캐폴딩 프레임워크인 NavMCP를 소개한다. VLM은 어떤 증거를 찾을지, 어디를 탐색할지, 언제 멈출지를 결정하고, NFM은 각 의미론적 하위 목표를 폐루프 내비게이션으로 구체화한다. 세 가지 채널이 이 협력을 구조화한다: 의도는 증거 필요성을 내비게이션 호출로 변환하고, 관찰은 롤아웃을 출처 기반 궤적 증거로 변환하며, 메모리는 호출 전반에 걸쳐 발견 사항, 부정적 증거, 미해결 목표를 축적한다. 이 설계는 두 모델을 재학습시키지 않으면서 고립된 내비게이션 롤아웃을 지속적인 임보디드 상호작용으로 전환한다. 임보디드 질의응답에서 NavMCP는 HM-EQA, MT-HM3D, EXPRESS-Bench에서 최고 수준의 결과를 달성한다. 동일한 에이전트 및 실행기 백본 조건에서 HM-EQA의 에피소드형 인터페이스 대비 14.9퍼센트 포인트 더 높은 성능을 보인다. Unitree Go2에서는 78.3%의 성공률을 달성하며, 작업 지평이 길어질수록 가장 강력한 기준선 대비 격차가 10포인트에서 45포인트로 커진다. 이러한 결과는 상호 보완적인 파운데이션 모델을 스캐폴딩하여 장기적 지평의 물리 세계 에이전트로 만드는 잠재력을 보여준다.

English

Long-horizon physical-world agents must reason over distant goals while grounding decisions in reliable closed-loop behavior. Today's foundation models split these capabilities: vision-language models (VLMs) infer missing information and adapt high-level plans but remain brittle and inefficient at repeated navigation grounding, while navigation foundation models (NFMs) robustly execute semantic goals but operate as bounded episodes without persistent task-level reasoning. We introduce NavMCP, an agentic scaffolding framework that couples a VLM reasoning agent with an NFM executor for long-horizon exploration. The VLM decides what evidence to seek, where to search, and when to stop, while the NFM grounds each semantic sub-goal into closed-loop navigation. Three channels structure their collaboration: intent translates evidence needs into navigation calls, observation converts rollouts into source-grounded trajectory evidence, and memory accumulates findings, negative evidence, and unresolved goals across calls. This design turns isolated navigation rollouts into persistent embodied interaction without retraining either model. On Embodied Question Answering, NavMCP achieves state-of-the-art results on HM-EQA, MT-HM3D, and EXPRESS-Bench. Under matched agent and executor backbones, it outperforms an episodic interface by 14.9 percentage points on HM-EQA. On a Unitree Go2, NavMCP reaches 78.3% success, with its margin over the strongest baseline growing from 10 to 45 points as the task horizon increases. These results demonstrate the potential of scaffolding complementary foundation models into long-horizon physical-world agents.