ViNT: Базисная модель для визуальной навигации

Аннотация

Универсальные предобученные модели («фундаментальные модели») позволили специалистам создавать обобщаемые решения для отдельных задач машинного обучения с использованием наборов данных, значительно меньших по объему, чем те, которые требуются для обучения с нуля. Такие модели обычно обучаются на больших и разнообразных наборах данных со слабым контролем, потребляя гораздо больше обучающих данных, чем доступно для любого отдельного приложения. В данной статье мы описываем Visual Navigation Transformer (ViNT) — фундаментальную модель, которая стремится перенести успех универсальных предобученных моделей в область визуальной навигации роботов. ViNT обучается с использованием общей задачи достижения цели, которая может быть применена к любым наборам данных для навигации, и использует гибкую архитектуру на основе Transformer для изучения навигационных возможностей и эффективной адаптации к различным задачам навигации. ViNT обучается на нескольких существующих наборах данных для навигации, включающих сотни часов роботизированной навигации с использованием различных платформ, и демонстрирует положительный перенос знаний, превосходя специализированные модели, обученные на отдельных наборах данных. ViNT может быть дополнен предложениями подцелей на основе диффузионных моделей для исследования новых сред и способен решать задачи навигации на километровом масштабе при наличии долгосрочных эвристик. ViNT также может быть адаптирован к новым спецификациям задач с использованием техники, вдохновленной prompt-tuning, где кодировщик цели заменяется кодированием другой модальности задачи (например, GPS-точек маршрута или команд маршрутизации), встроенным в то же пространство токенов целей. Эта гибкость и способность адаптироваться к различным областям задач делают ViNT эффективной фундаментальной моделью для мобильной робототехники. Видео, код и контрольные точки модели доступны на странице проекта: https://visualnav-transformer.github.io.

English

General-purpose pre-trained models ("foundation models") have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.

ViNT: Базисная модель для визуальной навигации

ViNT: A Foundation Model for Visual Navigation

Аннотация

Support