WorldDreamer: Auf dem Weg zu allgemeinen Weltmodellen für die Videogenerierung durch die Vorhersage maskierter Tokens

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Autoren: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Zusammenfassung

Weltmodelle spielen eine entscheidende Rolle beim Verständnis und der Vorhersage der Dynamik der Welt, was für die Videogenerierung von zentraler Bedeutung ist. Bisherige Weltmodelle sind jedoch auf spezifische Szenarien wie Gaming oder Fahren beschränkt, was ihre Fähigkeit einschränkt, die Komplexität allgemeiner dynamischer Umgebungen zu erfassen. Daher stellen wir WorldDreamer vor, ein wegweisendes Weltmodell, das ein umfassendes Verständnis der allgemeinen Weltphysik und -bewegungen fördert und die Fähigkeiten der Videogenerierung erheblich verbessert. Inspiriert vom Erfolg großer Sprachmodelle, formuliert WorldDreamer die Weltmodellierung als eine unüberwachte Herausforderung der visuellen Sequenzmodellierung. Dies wird erreicht, indem visuelle Eingaben auf diskrete Tokens abgebildet und die maskierten vorhergesagt werden. In diesem Prozess integrieren wir multimodale Prompts, um die Interaktion innerhalb des Weltmodells zu erleichtern. Unsere Experimente zeigen, dass WorldDreamer bei der Generierung von Videos in verschiedenen Szenarien, einschließlich natürlicher Landschaften und Fahrumgebungen, hervorragende Leistungen erbringt. WorldDreamer demonstriert seine Vielseitigkeit bei der Ausführung von Aufgaben wie Text-zu-Video-Konvertierung, Bild-zu-Video-Synthese und Videobearbeitung. Diese Ergebnisse unterstreichen die Effektivität von WorldDreamer bei der Erfassung dynamischer Elemente in vielfältigen allgemeinen Weltumgebungen.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.