Preentrenamiento de Acciones Latentes a partir de Videos

Latent Action Pretraining from Videos

October 15, 2024

Autores: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Resumen

Presentamos el Preentrenamiento de Acciones Latentes para modelos de Acción generales (LAPA), un método no supervisado para preentrenar modelos de Visión-Lenguaje-Acción (VLA) sin etiquetas de acción de robot de verdad. Los modelos existentes de Visión-Lenguaje-Acción requieren etiquetas de acción generalmente recopiladas por teleoperadores humanos durante el preentrenamiento, lo que limita significativamente las posibles fuentes de datos y la escala. En este trabajo, proponemos un método para aprender a partir de videos a escala de internet que no tienen etiquetas de acción de robot. Primero entrenamos un modelo de cuantificación de acciones aprovechando un objetivo basado en VQ-VAE para aprender acciones latentes discretas entre fotogramas de imagen, luego preentrenamos un modelo VLA latente para predecir estas acciones latentes a partir de observaciones y descripciones de tareas, y finalmente ajustamos finamente el VLA en datos de manipulación de robot a pequeña escala para mapear de acciones latentes a acciones de robot. Los resultados experimentales demuestran que nuestro método supera significativamente a las técnicas existentes que entrenan políticas de manipulación de robot a partir de videos a gran escala. Además, supera al modelo VLA de última generación entrenado con etiquetas de acción robótica en tareas de manipulación del mundo real que requieren condicionamiento de lenguaje, generalización a objetos no vistos y generalización semántica a instrucciones no vistas. El entrenamiento solo en videos de manipulación humana también muestra una transferencia positiva, abriendo el potencial para aprovechar datos a escala web para modelos fundamentales de robótica.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.