Lernen von Echtwelt-Aktionsvideo-Dynamik mit heterogener maskierter Autoregression.

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

February 6, 2025

Autoren: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

cs.AI

Zusammenfassung

Wir schlagen Heterogene Maskierte Autoregression (HMA) zur Modellierung der Dynamik von Aktionsvideos vor, um hochwertige Daten zu generieren und die Skalierung des Roboterlernens zu evaluieren. Der Aufbau interaktiver Videoweltmodelle und Richtlinien für die Robotik ist aufgrund der Herausforderung, vielfältige Einstellungen zu handhaben und gleichzeitig die Rechenleistung aufrechtzuerhalten, um in Echtzeit ausgeführt zu werden, schwierig. HMA verwendet heterogenes Vor-Training aus Beobachtungen und Aktionssequenzen über verschiedene Roboter-Verkörperungen, Domänen und Aufgaben. HMA verwendet maskierte Autoregression zur Generierung von quantisierten oder weichen Tokens für Videovorhersagen. \ourshort erzielt eine bessere visuelle Treue und Steuerbarkeit als die bisherigen Modelle zur Generierung von Roboter-Videos mit einer 15-mal schnelleren Geschwindigkeit in der realen Welt. Nach dem Post-Training kann dieses Modell als Videosimulator aus Eingaben auf niedrigem Niveau für die Bewertung von Richtlinien und die Generierung synthetischer Daten verwendet werden. Weitere Informationen finden Sie unter folgendem Link: https://liruiw.github.io/hma.

English

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.