Latente Actie Vooraftraining van Video's

Samenvatting

We introduceren Latente Actie Pretraining voor algemene Actiemodellen (LAPA), een ongesuperviseerde methode voor het vooraf trainen van Vision-Language-Action (VLA) modellen zonder grondwaarheid robotactielabels. Bestaande Vision-Language-Action modellen vereisen actielabels die doorgaans worden verzameld door menselijke teleoperators tijdens de voorafgaande training, wat de mogelijke gegevensbronnen en schaal aanzienlijk beperkt. In dit werk stellen we een methode voor om te leren van internet-schaal video's die geen robotactielabels hebben. We trainen eerst een actiekwantisatiemodel dat gebruikmaakt van een VQ-VAE-gebaseerd doel om discrete latente acties tussen beeldframes te leren, vervolgens pretrainen we een latente VLA-model om deze latente acties te voorspellen uit observaties en taakbeschrijvingen, en finetunen we ten slotte de VLA op kleine schaal robotmanipulatiegegevens om van latente naar robotacties te mappen. Experimentele resultaten tonen aan dat onze methode aanzienlijk beter presteert dan bestaande technieken die robotmanipulatiebeleid trainen vanuit grootschalige video's. Bovendien presteert het beter dan het state-of-the-art VLA-model dat is getraind met robotactielabels op manipulatietaken in de echte wereld die taalconditionering vereisen, generalisatie naar ongeziene objecten, en semantische generalisatie naar ongeziene instructies. Training alleen op menselijke manipulatievideo's toont ook positieve overdracht, waardoor het potentieel ontstaat om web-schaal gegevens te benutten voor robotica foundation model.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.

Latente Actie Vooraftraining van Video's

Latent Action Pretraining from Videos

Samenvatting

Support