ViNT : Un modèle fondateur pour la navigation visuelle

ViNT: A Foundation Model for Visual Navigation

June 26, 2023

Auteurs: Dhruv Shah, Ajay Sridhar, Nitish Dashora, Kyle Stachowicz, Kevin Black, Noriaki Hirose, Sergey Levine

cs.AI

Résumé

Les modèles pré-entraînés à usage général ("modèles de base") ont permis aux praticiens de produire des solutions généralisables pour des problèmes individuels d'apprentissage automatique avec des ensembles de données nettement plus petits que ceux requis pour un apprentissage à partir de zéro. Ces modèles sont généralement entraînés sur de grands ensembles de données diversifiés avec une supervision faible, consommant beaucoup plus de données d'entraînement que celles disponibles pour toute application en aval individuelle. Dans cet article, nous décrivons le Visual Navigation Transformer (ViNT), un modèle de base qui vise à transposer le succès des modèles pré-entraînés à usage général à la navigation robotique basée sur la vision. ViNT est entraîné avec un objectif général d'atteinte de but qui peut être utilisé avec n'importe quel ensemble de données de navigation, et emploie une architecture flexible basée sur les Transformers pour apprendre les affordances de navigation et permettre une adaptation efficace à une variété de tâches de navigation en aval. ViNT est entraîné sur plusieurs ensembles de données de navigation existants, comprenant des centaines d'heures de navigation robotique provenant de différentes plateformes robotiques, et montre un transfert positif, surpassant les modèles spécialistes entraînés sur des ensembles de données uniques. ViNT peut être augmenté avec des propositions de sous-buts basées sur la diffusion pour explorer de nouveaux environnements, et peut résoudre des problèmes de navigation à l'échelle du kilomètre lorsqu'il est équipé d'heuristiques à longue portée. ViNT peut également être adapté à de nouvelles spécifications de tâches avec une technique inspirée du prompt-tuning, où l'encodeur de but est remplacé par un encodage d'une autre modalité de tâche (par exemple, des points de cheminement GPS ou des commandes de routage) intégré dans le même espace de tokens de but. Cette flexibilité et cette capacité à s'adapter à une variété de domaines de problèmes en aval établissent ViNT comme un modèle de base efficace pour la robotique mobile. Pour les vidéos, le code et les points de contrôle du modèle, consultez notre page de projet à l'adresse https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.