Pré-treinamento de Ação Latente a partir de Vídeos

Latent Action Pretraining from Videos

October 15, 2024

Autores: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Resumo

Apresentamos o Treinamento Prévio de Ação Latente para modelos de Ação gerais (LAPA), um método não supervisionado para pré-treinamento de modelos Visão-Linguagem-Ação (VLA) sem rótulos de ação de robôs de verdade. Modelos Visão-Linguagem-Ação existentes requerem rótulos de ação normalmente coletados por teleoperadores humanos durante o pré-treinamento, o que limita significativamente as fontes de dados e a escala possíveis. Neste trabalho, propomos um método para aprender a partir de vídeos em escala da internet que não possuem rótulos de ação de robôs. Primeiramente, treinamos um modelo de quantização de ação utilizando um objetivo baseado em VQ-VAE para aprender ações latentes discretas entre frames de imagem, em seguida, pré-treinamos um modelo VLA latente para prever essas ações latentes a partir de observações e descrições de tarefas, e por fim, refinamos o VLA em dados de manipulação de robô em pequena escala para mapear de latente para ações de robô. Resultados experimentais demonstram que nosso método supera significativamente técnicas existentes que treinam políticas de manipulação de robôs a partir de vídeos em grande escala. Além disso, supera o modelo VLA de última geração treinado com rótulos de ação robótica em tarefas reais de manipulação que requerem condicionamento de linguagem, generalização para objetos não vistos e generalização semântica para instruções não vistas. O treinamento apenas em vídeos de manipulação humana também apresenta transferência positiva, abrindo o potencial para aproveitar dados em escala da web para modelos fundamentais de robótica.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.