Pré-entraînement d'Action Latente à partir de Vidéos

Latent Action Pretraining from Videos

October 15, 2024

Auteurs: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Résumé

Nous introduisons la Pré-entraînement des Actions Latentes pour les modèles d'Actions généraux (LAPA), une méthode non supervisée pour pré-entraîner des modèles Vision-Langage-Action (VLA) sans étiquettes d'actions de robots de vérité terrain. Les modèles existants Vision-Langage-Action nécessitent généralement des étiquettes d'actions collectées par des téléopérateurs humains lors du pré-entraînement, ce qui limite considérablement les sources de données possibles et l'échelle. Dans ce travail, nous proposons une méthode pour apprendre à partir de vidéos à l'échelle d'Internet qui n'ont pas d'étiquettes d'actions de robots. Nous entraînons d'abord un modèle de quantification des actions en exploitant un objectif basé sur VQ-VAE pour apprendre des actions latentes discrètes entre les images, puis pré-entraînons un modèle VLA latent pour prédire ces actions latentes à partir des observations et des descriptions des tâches, et enfin affinons le VLA sur des données de manipulation de robots à petite échelle pour mapper des actions latentes aux actions de robots. Les résultats expérimentaux démontrent que notre méthode surpasse significativement les techniques existantes qui entraînent des politiques de manipulation de robots à partir de vidéos à grande échelle. De plus, elle surpasse le modèle VLA de pointe entraîné avec des étiquettes d'actions robotiques sur des tâches de manipulation du monde réel qui nécessitent une condition linguistique, une généralisation à des objets non vus auparavant, et une généralisation sémantique à des instructions non vues auparavant. L'entraînement uniquement sur des vidéos de manipulation humaine montre également un transfert positif, ouvrant la voie à l'exploitation du potentiel des données à l'échelle du web pour les modèles fondamentaux en robotique.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.