WorldDreamer: Op weg naar algemene wereldmodellen voor videogeneratie via het voorspellen van gemaskeerde tokens

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Auteurs: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Samenvatting

Wereldmodellen spelen een cruciale rol bij het begrijpen en voorspellen van de dynamiek van de wereld, wat essentieel is voor videogeneratie. Bestaande wereldmodellen zijn echter beperkt tot specifieke scenario's zoals gaming of autorijden, wat hun vermogen om de complexiteit van algemene dynamische wereldomgevingen vast te leggen, beperkt. Daarom introduceren we WorldDreamer, een baanbrekend wereldmodel om een uitgebreid begrip van algemene wereldfysica en -bewegingen te bevorderen, wat de mogelijkheden van videogeneratie aanzienlijk verbetert. Geïnspireerd door het succes van grote taalmodellen, benadert WorldDreamer wereldmodellering als een uitdaging voor onbewaakte visuele sequentiemodellering. Dit wordt bereikt door visuele invoer te vertalen naar discrete tokens en de gemaskeerde tokens te voorspellen. Tijdens dit proces integreren we multimodale prompts om interactie binnen het wereldmodel te vergemakkelijken. Onze experimenten tonen aan dat WorldDreamer uitblinkt in het genereren van video's in verschillende scenario's, waaronder natuurlijke landschappen en autorijdomgevingen. WorldDreamer toont veelzijdigheid in het uitvoeren van taken zoals tekst-naar-video-conversie, beeld-naar-video-synthese en videobewerking. Deze resultaten onderstrepen de effectiviteit van WorldDreamer in het vastleggen van dynamische elementen binnen diverse algemene wereldomgevingen.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.