Предварительное обучение скрытых действий на основе видео

Latent Action Pretraining from Videos

October 15, 2024

Авторы: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Аннотация

Мы представляем метод предварительного обучения моделей видение-язык-действие (VLA) без меток действий робота - Latent Action Pretraining for general Action models (LAPA), не требующий участия человека. Существующие модели видение-язык-действие обычно требуют меток действий, собранных человеческими операторами во время предварительного обучения, что существенно ограничивает источники данных и масштаб. В данной работе мы предлагаем метод обучения на видео масштаба интернета без меток действий робота. Сначала мы обучаем модель квантования действий, используя цель на основе VQ-VAE, чтобы изучить дискретные скрытые действия между кадрами изображения, затем предварительно обучаем скрытую модель VLA для предсказания этих скрытых действий из наблюдений и описаний задачи, и, наконец, донастраиваем VLA на небольших данных по манипулированию робота для отображения скрытых действий на действия робота. Экспериментальные результаты показывают, что наш метод значительно превосходит существующие техники обучения политик манипулирования роботов на видео масштаба больших данных. Более того, он превосходит современную модель VLA, обученную с метками действий робота, на задачах манипулирования в реальном мире, требующих языкового контекста, обобщения на невидимые объекты и семантического обобщения на невидимые инструкции. Обучение только на видео человеческого манипулирования также показывает положительный перенос, открывая потенциал использования данных масштаба веба для моделирования основ робототехники.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.