ViNT: Um Modelo Base para Navegação Visual

ViNT: A Foundation Model for Visual Navigation

June 26, 2023

Autores: Dhruv Shah, Ajay Sridhar, Nitish Dashora, Kyle Stachowicz, Kevin Black, Noriaki Hirose, Sergey Levine

cs.AI

Resumo

Modelos pré-treinados de propósito geral ("modelos de base") permitiram que profissionais produzissem soluções generalizáveis para problemas individuais de aprendizado de máquina com conjuntos de dados significativamente menores do que os necessários para aprender do zero. Tais modelos são tipicamente treinados em grandes e diversos conjuntos de dados com supervisão fraca, consumindo muito mais dados de treinamento do que está disponível para qualquer aplicação individual subsequente. Neste artigo, descrevemos o Visual Navigation Transformer (ViNT), um modelo de base que visa trazer o sucesso dos modelos pré-treinados de propósito geral para a navegação robótica baseada em visão. O ViNT é treinado com um objetivo geral de alcance de metas que pode ser usado com qualquer conjunto de dados de navegação, e emprega uma arquitetura flexível baseada em Transformers para aprender affordances de navegação e permitir uma adaptação eficiente a uma variedade de tarefas de navegação subsequentes. O ViNT é treinado em vários conjuntos de dados de navegação existentes, compreendendo centenas de horas de navegação robótica de uma variedade de plataformas robóticas diferentes, e exibe transferência positiva, superando modelos especialistas treinados em conjuntos de dados únicos. O ViNT pode ser aprimorado com propostas de submetas baseadas em difusão para explorar ambientes novos, e pode resolver problemas de navegação em escala de quilômetros quando equipado com heurísticas de longo alcance. O ViNT também pode ser adaptado a novas especificações de tarefas com uma técnica inspirada no prompt-tuning, onde o codificador de metas é substituído por uma codificação de outra modalidade de tarefa (por exemplo, waypoints GPS ou comandos de roteamento) incorporada no mesmo espaço de tokens de metas. Essa flexibilidade e capacidade de acomodar uma variedade de domínios de problemas subsequentes estabelecem o ViNT como um modelo de base eficaz para robótica móvel. Para vídeos, código e checkpoints do modelo, consulte nossa página do projeto em https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.