WorldDreamer: Verso Modelli Mondiali Generativi per la Creazione di Video tramite la Predizione di Token Maschera

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Autori: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Abstract

I modelli del mondo svolgono un ruolo cruciale nella comprensione e nella previsione delle dinamiche del mondo, essenziale per la generazione di video. Tuttavia, i modelli del mondo esistenti sono limitati a scenari specifici come i giochi o la guida, riducendo la loro capacità di catturare la complessità degli ambienti dinamici generali del mondo. Pertanto, introduciamo WorldDreamer, un modello del mondo pionieristico per favorire una comprensione completa della fisica e dei movimenti generali del mondo, che migliora significativamente le capacità di generazione video. Traendo ispirazione dal successo dei grandi modelli linguistici, WorldDreamer inquadra la modellazione del mondo come una sfida di modellazione sequenziale visiva non supervisionata. Questo viene ottenuto mappando gli input visivi su token discreti e prevedendo quelli mascherati. Durante questo processo, incorporiamo prompt multimodali per facilitare l'interazione all'interno del modello del mondo. I nostri esperimenti dimostrano che WorldDreamer eccelle nella generazione di video in diversi scenari, inclusi ambienti naturali e di guida. WorldDreamer mostra versatilità nell'esecuzione di compiti come la conversione da testo a video, la sintesi da immagine a video e l'editing video. Questi risultati sottolineano l'efficacia di WorldDreamer nel catturare elementi dinamici all'interno di diversi ambienti generali del mondo.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.