Apprentissage des dynamiques vidéo d'actions réelles avec une autorégression masquée hétérogène

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

February 6, 2025

Auteurs: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

cs.AI

Résumé

Nous proposons l'Autorégression Masquée Hétérogène (HMA) pour modéliser la dynamique des vidéos d'action afin de générer des données de haute qualité et d'évaluer le développement de l'apprentissage robotique à grande échelle. La construction de modèles et de politiques interactifs de monde vidéo pour la robotique est difficile en raison du défi de gérer des environnements divers tout en maintenant une efficacité computationnelle pour fonctionner en temps réel. HMA utilise un pré-entraînement hétérogène à partir d'observations et de séquences d'actions à travers différents incarnations robotiques, domaines et tâches. HMA utilise l'autorégression masquée pour générer des jetons quantifiés ou doux pour les prédictions vidéo. Notre approche atteint une meilleure fidélité visuelle et une meilleure contrôlabilité que les modèles précédents de génération de vidéos robotiques, avec une vitesse 15 fois plus rapide dans le monde réel. Après le post-entraînement, ce modèle peut être utilisé comme simulateur vidéo à partir d'entrées d'actions de bas niveau pour évaluer les politiques et générer des données synthétiques. Consultez ce lien https://liruiw.github.io/hma pour plus d'informations.

English

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.