Vid2World : Conception de modèles de diffusion vidéo pour des modèles de monde interactifs

Vid2World: Crafting Video Diffusion Models to Interactive World Models

May 20, 2025

Auteurs: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

cs.AI

Résumé

Les modèles du monde, qui prédisent les transitions en se basant sur l'observation de l'historique et les séquences d'actions, ont montré un grand potentiel pour améliorer l'efficacité des données dans la prise de décision séquentielle. Cependant, les modèles du monde existants nécessitent souvent un entraînement approfondi spécifique au domaine et produisent encore des prédictions de faible fidélité et grossières, limitant ainsi leur applicabilité dans des environnements complexes. En revanche, les modèles de diffusion vidéo entraînés sur de vastes ensembles de données à l'échelle d'Internet ont démontré des capacités impressionnantes à générer des vidéos de haute qualité qui capturent des dynamiques variées du monde réel. Dans ce travail, nous présentons Vid2World, une approche générale pour exploiter et transférer des modèles de diffusion vidéo pré-entraînés en modèles du monde interactifs. Pour combler cet écart, Vid2World effectue une causalisation d'un modèle de diffusion vidéo pré-entraîné en adaptant son architecture et son objectif d'entraînement pour permettre une génération autorégressive. De plus, il introduit un mécanisme de guidage d'action causal pour améliorer la contrôlabilité des actions dans le modèle du monde interactif résultant. Des expériences approfondies dans les domaines de la manipulation robotique et de la simulation de jeux montrent que notre méthode offre une approche scalable et efficace pour réutiliser des modèles de diffusion vidéo hautement performants en modèles du monde interactifs.

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.