Preallenamento dell'Azione Latente da Video

Latent Action Pretraining from Videos

October 15, 2024

Autori: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Abstract

Introduciamo il Preallenamento delle Azioni Latenti per modelli di Azione generale (LAPA), un metodo non supervisionato per il preallenamento dei modelli Visione-Linguaggio-Azione (VLA) senza etichette di azione del robot di verità fondamentale. I modelli esistenti Visione-Linguaggio-Azione richiedono etichette di azione tipicamente raccolte da teleoperatori umani durante il preallenamento, il che limita significativamente le possibili fonti di dati e la scala. In questo lavoro, proponiamo un metodo per apprendere da video su scala internet che non hanno etichette di azione del robot. Prima addestriamo un modello di quantizzazione delle azioni sfruttando un obiettivo basato su VQ-VAE per apprendere azioni latenti discrete tra i frame dell'immagine, quindi prealleniamo un modello VLA latente per predire queste azioni latenti dalle osservazioni e dalle descrizioni delle attività, e infine raffiniamo il VLA su dati di manipolazione del robot su piccola scala per mappare dalle azioni latenti alle azioni del robot. I risultati sperimentali dimostrano che il nostro metodo supera significativamente le tecniche esistenti che addestrano politiche di manipolazione del robot da video su larga scala. Inoltre, supera il modello VLA all'avanguardia addestrato con etichette di azione robotica su compiti di manipolazione del mondo reale che richiedono condizionamento linguistico, generalizzazione a oggetti non visti e generalizzazione semantica a istruzioni non viste. L'addestramento solo su video di manipolazione umana mostra anche un trasferimento positivo, aprendo il potenziale per sfruttare i dati su scala web per il modello fondamentale della robotica.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.