Embodied-Navigator: 효율적인 탐색을 위한 지시, 추론, 기억, 정렬

초록

대규모 비전-언어 모델(VLM)이 구현형 내비게이션을 크게 발전시켰음에도 불구하고, 직접 배포는 여전히 어려운 과제로 남아 있다. 기존 방법들은 종종 VLM을 2D 사전 학습에서 얻은 사전 지식과 정렬되지 않는 부자연스러운 행동 공간으로 강제하며, 여기에 경직된 추론 스케줄과 비효율적인 메모리 관리가 더해지기 때문이다. 이러한 한계를 극복하기 위해 우리는 효율적인 구현형 내비게이션을 위한 통합 프레임워크인 TAMP-Nav를 제안한다. 첫째, 내비게이션을 2D 시각적 프롬프팅으로 재구성하는 픽셀-3D 행동 정식화(Pixel-to-3D Action Formulation, Point)를 도입한다. 구체적으로, VLM은 단순히 2D 픽셀을 선택하며, 선택된 픽셀은 저수준 SLAM 제어기를 위해 3D 좌표로 투영된다. 이러한 설계는 구현형 실행을 VLM의 고유한 2D 시각 능력과 자연스럽게 정렬한다. 둘째, 선택적 추론과 앵커-궤적 메모리를 통합한 메커니즘(Think and Memorize)을 제안한다. 이 메커니즘은 Chain-of-Thought(사고 사슬)를 동적으로 트리거하고, 중요한 노드에서만 고충실도 메모리를 유지하며, 중복 궤적을 경량 시공간 지시자(Space-Time Indicators)로 압축함으로써 중요한 과거 정보를 보존하고 시공간 지각을 향상시킨다. 마지막으로, 그룹 상대 정책 최적화(GRPO)를 통한 효율적인 2단계 정렬 패러다임(Align)을 설계한다. 전역 결과 보상과 세분화된 과정 보상을 중첩함으로써, 이러한 고밀도 지도는 에이전트의 인지적 계획을 물리적 환경 피드백과 밀접하게 정렬하여 모델에 적응형 추론 능력을 부여한다. 실험 결과, TAMP-Nav는 R2R-CE에서 성공률(SR) 66.2%를 달성하는 등 최첨단 성능을 보여주며, 높은 런타임 효율성과 샘플 효율성(단 9만 개의 훈련 궤적만 요구)을 갖춘다.

English

Although Large Vision-Language Models (VLMs) have significantly advanced embodied navigation, their direct deployment remains challenging, as existing methods often force VLMs into unnatural action spaces that misalign with their 2D pre-training priors, compounded by rigid reasoning schedules and inefficient memory management. To overcome these limitations, we propose TAMP-Nav, a unified framework for efficient embodied navigation. First, we introduce a Pixel-to-3D Action Formulation (Point) that reformulates navigation into 2D visual prompting. Specifically, the VLM merely selects 2D pixels, which are then projected into 3D coordinates for a low-level SLAM controller. This design naturally aligns embodied execution with the VLM's inherent 2D visual capabilities. Second, we propose an integrated Selective Reasoning and Anchor-Trajectory Memory mechanism (Think and Memorize), which dynamically triggers Chain-of-Thought and retains high-fidelity memory only at critical nodes, compressing redundant trajectories into lightweight Space-Time Indicators, thereby preserving critical historical information and enhancing spatio-temporal perception. Finally, we design an efficient Two-Level Alignment Paradigm (Align) via Group Relative Policy Optimization (GRPO). By superimposing global outcome rewards with fine-grained process rewards, this dense supervision tightly aligns the agent's cognitive planning with physical environmental feedback, endowing the model with adaptive reasoning capabilities. Experiments demonstrate that TAMP-Nav achieves state-of-the-art performance (e.g., 66.2% SR on R2R-CE) with high runtime and sample efficiency (requiring only 90k training trajectories).