WorldDreamer : Vers des modèles mondiaux généraux pour la génération vidéo via la prédiction de tokens masqués

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Auteurs: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Résumé

Les modèles du monde jouent un rôle crucial dans la compréhension et la prédiction des dynamiques du monde, ce qui est essentiel pour la génération de vidéos. Cependant, les modèles du monde existants sont limités à des scénarios spécifiques tels que les jeux ou la conduite, restreignant leur capacité à capturer la complexité des environnements dynamiques généraux du monde. Par conséquent, nous introduisons WorldDreamer, un modèle du monde pionnier visant à favoriser une compréhension approfondie de la physique et des mouvements généraux du monde, ce qui améliore significativement les capacités de génération de vidéos. S'inspirant du succès des grands modèles de langage, WorldDreamer aborde la modélisation du monde comme un défi de modélisation de séquences visuelles non supervisées. Cela est réalisé en associant les entrées visuelles à des tokens discrets et en prédisant ceux qui sont masqués. Durant ce processus, nous intégrons des prompts multimodaux pour faciliter l'interaction au sein du modèle du monde. Nos expériences montrent que WorldDreamer excelle dans la génération de vidéos à travers différents scénarios, incluant des scènes naturelles et des environnements de conduite. WorldDreamer démontre une polyvalence dans l'exécution de tâches telles que la conversion de texte en vidéo, la synthèse d'images en vidéo, et l'édition de vidéos. Ces résultats soulignent l'efficacité de WorldDreamer à capturer les éléments dynamiques dans divers environnements généraux du monde.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.