ViNT: 視覚ナビゲーションのための基盤モデル

要旨

汎用事前学習モデル（「基盤モデル」）は、実践者がゼロから学習するために必要なデータセットよりも大幅に小さいデータセットで、個々の機械学習問題に対する汎用的なソリューションを生み出すことを可能にしました。このようなモデルは通常、弱い教師信号を用いて大規模で多様なデータセットで訓練され、個々の下流アプリケーションで利用可能なデータよりもはるかに多くの訓練データを消費します。本論文では、ビジョンベースのロボットナビゲーションに汎用事前学習モデルの成功をもたらすことを目指す基盤モデルであるVisual Navigation Transformer（ViNT）を紹介します。ViNTは、任意のナビゲーションデータセットで使用可能な一般的な目標到達目的で訓練され、柔軟なTransformerベースのアーキテクチャを採用してナビゲーションのアフォーダンスを学習し、さまざまな下流ナビゲーションタスクへの効率的な適応を可能にします。ViNTは、さまざまなロボットプラットフォームからの数百時間に及ぶロボットナビゲーションを含む既存のナビゲーションデータセットで訓練され、単一のデータセットで訓練された専門モデルを上回るポジティブ転移を示します。ViNTは、拡散ベースのサブゴール提案を追加することで新規環境の探索が可能であり、長距離ヒューリスティクスを備えることでキロメートルスケールのナビゲーション問題を解決できます。また、ViNTは、プロンプトチューニングにインスパイアされた技術を用いて新しいタスク仕様に適応可能です。ここでは、ゴールエンコーダを、ゴールトークンの同じ空間に埋め込まれた別のタスクモダリティ（例えば、GPSウェイポイントやルーティングコマンド）のエンコーディングに置き換えます。この柔軟性とさまざまな下流問題領域に対応する能力により、ViNTはモバイルロボティクスのための効果的な基盤モデルとして確立されます。動画、コード、およびモデルチェックポイントについては、プロジェクトページhttps://visualnav-transformer.github.ioをご覧ください。

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.

ViNT: 視覚ナビゲーションのための基盤モデル

ViNT: A Foundation Model for Visual Navigation

要旨

Support