ViNT: Ein Basismodell für visuelle Navigation

ViNT: A Foundation Model for Visual Navigation

June 26, 2023

Autoren: Dhruv Shah, Ajay Sridhar, Nitish Dashora, Kyle Stachowicz, Kevin Black, Noriaki Hirose, Sergey Levine

cs.AI

Zusammenfassung

Allgemeine vortrainierte Modelle ("Foundation Models") haben es Praktikern ermöglicht, generalisierbare Lösungen für individuelle maschinelle Lernprobleme mit Datensätzen zu entwickeln, die deutlich kleiner sind als diejenigen, die für das Lernen von Grund auf erforderlich wären. Solche Modelle werden typischerweise auf großen und vielfältigen Datensätzen mit schwacher Supervision trainiert, wobei sie viel mehr Trainingsdaten verbrauchen, als für jede einzelne nachgelagerte Anwendung verfügbar ist. In diesem Artikel beschreiben wir den Visual Navigation Transformer (ViNT), ein Foundation Model, das den Erfolg allgemeiner vortrainierter Modelle auf die visuell basierte robotische Navigation übertragen soll. ViNT wird mit einem allgemeinen Zielerreichungsziel trainiert, das mit jedem Navigationsdatensatz verwendet werden kann, und verwendet eine flexible Transformer-basierte Architektur, um navigatorische Affordanzen zu lernen und eine effiziente Anpassung an eine Vielzahl von nachgelagerten Navigationsaufgaben zu ermöglichen. ViNT wird auf einer Reihe bestehender Navigationsdatensätze trainiert, die Hunderte von Stunden robotischer Navigation von verschiedenen Roboterplattformen umfassen, und zeigt positiven Transfer, indem es spezialisierte Modelle, die auf einzelnen Datensätzen trainiert wurden, übertrifft. ViNT kann mit diffusionsbasierten Teilzielvorschlägen erweitert werden, um neue Umgebungen zu erkunden, und kann kilometerweite Navigationsprobleme lösen, wenn es mit langreichweitigen Heuristiken ausgestattet ist. ViNT kann auch an neue Aufgabenstellungen angepasst werden, inspiriert durch Prompt-Tuning, bei dem der Ziel-Encoder durch eine Kodierung einer anderen Aufgabenmodalität (z.B. GPS-Wegpunkte oder Routing-Befehle) ersetzt wird, die in denselben Raum von Ziel-Tokens eingebettet ist. Diese Flexibilität und die Fähigkeit, eine Vielzahl von nachgelagerten Problemdomänen zu berücksichtigen, etablieren ViNT als ein effektives Foundation Model für mobile Robotik. Für Videos, Code und Modell-Checkpoints besuchen Sie unsere Projektseite unter https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.