LightNav-0: 汎用身体化ナビゲーションのためのVLM空間知能の引き出し

要旨

身体性ナビゲーションでは、エージェントがタスク、環境、ロボットの身体構成を横断して、異種の目標と視覚観測を行動へ変換することが求められる。現代の視覚言語モデル（VLM）は、視覚的グラウンディング、空間推論、ポインティングのための空間的先行知識をすでに内包しているが、これらの能力がロボット制御のために直接引き出されることはほとんどない。既存のナビゲーションシステムは、その代わりにタスク特化または身体特化のコンポーネントに依存しており、知覚・推論・行動を断片化し、限られた汎化しか提供しない。本稿では、事前学習済みVLMの空間的知能を引き出し、それをナビゲーションに整合させる、タスク特化の予測ヘッドを必要としないコンパクトな汎用身体性ナビゲーションモデルLightNav-0を提案する。LightNav-0は、統合トークンインターフェースを通じて多様なナビゲーションタスクを表現する。すなわち、デュアルチャネルポインティングがタスク・シーン・身体非依存の空間的意図を表現し、残差ベクトル量子化アクショントークナイザがこの意図を正確で身体固有の軌道に写像する。この定式化は、時間認識型の視覚履歴圧縮、身体性推論（ER）中間学習、教師ありファインチューニング、強化学習と組み合わせることで、指示追従、オープン語彙物体ナビゲーション、視覚追跡を単一モデル内でサポートする。ナビゲーション学習コーパスは、2K以上のシーンと4K時間以上の身体性ナビゲーションデータにわたる。LightNav-0の初期化に用いられる身体性推論チェックポイントであるLightNav-ERは、8つの身体性推論ベンチマークにおける完全セット平均で最高を達成し、一方LightNav-0は、10の公開ナビゲーションシミュレーション設定すべてで最先端の単眼成功率を達成する。実世界評価はさらに、ロボットの身体構成、多様なシーン、静的および動的ターゲットにわたるゼロショット汎化を実証する。これらの結果は、コンパクトなVLMが、汎用身体性ナビゲーションのための統一的かつ転移可能なバックボーンであることを確立する。

English

Embodied navigation requires agents to translate heterogeneous goals and visual observations into actions across tasks, environments, and robot embodiments. Modern vision-language models (VLMs) already encode spatial priors for visual grounding, spatial reasoning, and pointing, but these capabilities are rarely elicited directly for robot control. Existing navigation systems instead rely on task- or embodiment-specific components, fragmenting perception, reasoning, and action while offering limited generalization. Here we present LightNav-0, a compact generalist embodied navigation model that elicits the spatial intelligence of a pretrained VLM and aligns it with navigation, without task-specific prediction heads. LightNav-0 represents diverse navigation tasks through a unified token interface: dual-channel pointing expresses task-, scene-, and embodiment-agnostic spatial intent, while a residual vector-quantized action tokenizer maps this intent to precise, embodiment-specific trajectories. Together with temporally aware visual history compression, ER mid-training, supervised fine-tuning, and reinforcement learning, this formulation supports instruction following, open-vocabulary object navigation, and visual tracking within a single model. The navigation training corpus spans 2K+ scenes and 4K+ hours of embodied navigation data. LightNav-ER, the embodied-reasoning checkpoint used to initialize LightNav-0, attains the highest complete-set average across 8 embodied-reasoning benchmarks, while LightNav-0 achieves state-of-the-art monocular success rates across all 10 public navigation simulation settings. Real-world evaluations further demonstrate zero-shot generalization across robot embodiments, diverse scenes, and static and dynamic targets. These results establish compact VLMs as a unified and transferable backbone for generalist embodied navigation.