Latente Aktionsvorabbereitung aus Videos

Latent Action Pretraining from Videos

October 15, 2024

Autoren: Seonghyeon Ye, Joel Jang, Byeongguk Jeon, Sejune Joo, Jianwei Yang, Baolin Peng, Ajay Mandlekar, Reuben Tan, Yu-Wei Chao, Bill Yuchen Lin, Lars Liden, Kimin Lee, Jianfeng Gao, Luke Zettlemoyer, Dieter Fox, Minjoon Seo

cs.AI

Zusammenfassung

Wir stellen Latent Action Pretraining für allgemeine Aktionsmodelle (LAPA) vor, eine unüberwachte Methode zum Pretraining von Vision-Language-Action (VLA)-Modellen ohne echte Roboteraktionslabels. Existierende Vision-Language-Action-Modelle erfordern Aktionslabels, die typischerweise von menschlichen Teleoperatoren während des Pretrainings gesammelt werden, was die möglichen Datenquellen und den Umfang erheblich einschränkt. In dieser Arbeit schlagen wir eine Methode vor, um aus internetbasierten Videos zu lernen, die keine Roboteraktionslabels haben. Zunächst trainieren wir ein Aktionsquantisierungsmodell, das auf dem VQ-VAE-basierten Ziel beruht, um diskrete latente Aktionen zwischen Bildrahmen zu erlernen. Anschließend pretrainen wir ein latentes VLA-Modell, um diese latenten Aktionen aus Beobachtungen und Aufgabenbeschreibungen vorherzusagen, und feintunen schließlich das VLA anhand von robotergesteuerten Manipulationsdaten im kleinen Maßstab, um von latenten zu Roboteraktionen zu mappen. Experimentelle Ergebnisse zeigen, dass unsere Methode signifikant besser abschneidet als existierende Techniken, die Roboter-Manipulationsrichtlinien aus großangelegten Videos trainieren. Darüber hinaus übertrifft sie das VLA-Modell auf dem neuesten Stand der Technik, das mit Roboteraktionslabels auf realen Manipulationsaufgaben trainiert wurde, die eine sprachliche Konditionierung, die Verallgemeinerung auf unbekannte Objekte und die semantische Verallgemeinerung auf unbekannte Anweisungen erfordern. Das Training ausschließlich anhand von Videos menschlicher Manipulation zeigt ebenfalls positive Übertragungseffekte und eröffnet das Potenzial, webbasierte Daten für Grundlagenmodelle in der Robotik zu nutzen.

English

We introduce Latent Action Pretraining for general Action models (LAPA), an unsupervised method for pretraining Vision-Language-Action (VLA) models without ground-truth robot action labels. Existing Vision-Language-Action models require action labels typically collected by human teleoperators during pretraining, which significantly limits possible data sources and scale. In this work, we propose a method to learn from internet-scale videos that do not have robot action labels. We first train an action quantization model leveraging VQ-VAE-based objective to learn discrete latent actions between image frames, then pretrain a latent VLA model to predict these latent actions from observations and task descriptions, and finally finetune the VLA on small-scale robot manipulation data to map from latent to robot actions. Experimental results demonstrate that our method significantly outperforms existing techniques that train robot manipulation policies from large-scale videos. Furthermore, it outperforms the state-of-the-art VLA model trained with robotic action labels on real-world manipulation tasks that require language conditioning, generalization to unseen objects, and semantic generalization to unseen instructions. Training only on human manipulation videos also shows positive transfer, opening up the potential for leveraging web-scale data for robotics foundation model.