ViNT: Een Basismodel voor Visuele Navigatie

Samenvatting

Algemeen vooraf getrainde modellen ("foundatiemodellen") hebben het mogelijk gemaakt voor beoefenaars om generaliseerbare oplossingen te produceren voor individuele machine learning problemen met datasets die aanzienlijk kleiner zijn dan die nodig zijn om vanaf nul te leren. Dergelijke modellen worden doorgaans getraind op grote en diverse datasets met zwakke supervisie, waarbij veel meer trainingsdata wordt gebruikt dan beschikbaar is voor individuele downstream toepassingen. In dit artikel beschrijven we de Visual Navigation Transformer (ViNT), een foundatiemodel dat ernaar streeft om het succes van algemeen vooraf getrainde modellen naar visiegebaseerde robotnavigatie te brengen. ViNT wordt getraind met een algemeen doelbereikingsdoel dat kan worden gebruikt met elke navigatiedataset, en maakt gebruik van een flexibele Transformer-gebaseerde architectuur om navigatiemogelijkheden te leren en efficiënte aanpassing aan een verscheidenheid van downstream navigatietaken mogelijk te maken. ViNT is getraind op een aantal bestaande navigatiedatasets, bestaande uit honderden uren van robotnavigatie van verschillende robotplatforms, en vertoont positieve transfer, waarbij het gespecialiseerde modellen die op individuele datasets zijn getraind, overtreft. ViNT kan worden uitgebreid met diffusiegebaseerde subdoelvoorstellen om nieuwe omgevingen te verkennen, en kan navigatieproblemen op kilometerschaal oplossen wanneer het is uitgerust met langeafstandsheuristieken. ViNT kan ook worden aangepast aan nieuwe taakspecificaties met een techniek geïnspireerd door prompt-tuning, waarbij de doelencoder wordt vervangen door een codering van een andere taakmodaliteit (bijvoorbeeld GPS-waypoints of routeercommando's) ingebed in dezelfde ruimte van doeltokens. Deze flexibiliteit en het vermogen om een verscheidenheid aan downstream probleemdomeinen te accommoderen, vestigt ViNT als een effectief foundatiemodel voor mobiele robotica. Voor video's, code en modelcheckpoints, zie onze projectpagina op https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.

ViNT: Een Basismodel voor Visuele Navigatie

ViNT: A Foundation Model for Visual Navigation

Samenvatting

Support