ViNT: Un Modello Fondamentale per la Navigazione Visiva

ViNT: A Foundation Model for Visual Navigation

June 26, 2023

Autori: Dhruv Shah, Ajay Sridhar, Nitish Dashora, Kyle Stachowicz, Kevin Black, Noriaki Hirose, Sergey Levine

cs.AI

Abstract

I modelli pre-addestrati per scopi generali ("modelli di base") hanno permesso ai professionisti di produrre soluzioni generalizzabili per singoli problemi di apprendimento automatico con dataset significativamente più piccoli di quelli necessari per l'apprendimento da zero. Tali modelli sono tipicamente addestrati su dataset ampi e diversificati con supervisione debole, consumando molta più dati di addestramento rispetto a quelli disponibili per qualsiasi singola applicazione downstream. In questo articolo, descriviamo il Visual Navigation Transformer (ViNT), un modello di base che mira a portare il successo dei modelli pre-addestrati per scopi generali alla navigazione robotica basata sulla visione. ViNT è addestrato con un obiettivo generale di raggiungimento di un obiettivo che può essere utilizzato con qualsiasi dataset di navigazione, e impiega un'architettura flessibile basata su Transformer per apprendere affordance navigazionali e consentire un adattamento efficiente a una varietà di task navigazionali downstream. ViNT è addestrato su numerosi dataset di navigazione esistenti, comprendenti centinaia di ore di navigazione robotica da una varietà di piattaforme robotiche diverse, e mostra un trasferimento positivo, superando modelli specializzati addestrati su singoli dataset. ViNT può essere potenziato con proposte di sotto-obiettivi basate su diffusione per esplorare ambienti nuovi, e può risolvere problemi di navigazione su scala chilometrica quando è dotato di euristiche a lungo raggio. ViNT può anche essere adattato a nuove specifiche di task con una tecnica ispirata al prompt-tuning, dove l'encoder dell'obiettivo è sostituito da una codifica di un'altra modalità di task (ad esempio, waypoint GPS o comandi di routing) incorporata nello stesso spazio di token di obiettivo. Questa flessibilità e capacità di adattarsi a una varietà di domini di problemi downstream stabilisce ViNT come un efficace modello di base per la robotica mobile. Per video, codice e checkpoint del modello, consulta la nostra pagina del progetto all'indirizzo https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.