WorldDreamer: Hacia Modelos Generales del Mundo para la Generación de Vídeo mediante la Predicción de Tokens Enmascarados

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Autores: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Resumen

Los modelos del mundo desempeñan un papel crucial en la comprensión y predicción de las dinámicas del mundo, lo cual es esencial para la generación de vídeos. Sin embargo, los modelos del mundo existentes se limitan a escenarios específicos, como juegos o conducción, lo que restringe su capacidad para capturar la complejidad de los entornos dinámicos generales del mundo. Por ello, presentamos WorldDreamer, un modelo del mundo pionero que fomenta una comprensión integral de la física y los movimientos generales del mundo, lo que mejora significativamente las capacidades de generación de vídeos. Inspirándonos en el éxito de los modelos de lenguaje a gran escala, WorldDreamer aborda el modelado del mundo como un desafío de modelado de secuencias visuales no supervisado. Esto se logra mapeando entradas visuales a tokens discretos y prediciendo los que están enmascarados. Durante este proceso, incorporamos indicaciones multimodales para facilitar la interacción dentro del modelo del mundo. Nuestros experimentos muestran que WorldDreamer sobresale en la generación de vídeos en diferentes escenarios, incluyendo entornos naturales y de conducción. WorldDreamer demuestra versatilidad al ejecutar tareas como la conversión de texto a vídeo, la síntesis de imagen a vídeo y la edición de vídeos. Estos resultados subrayan la eficacia de WorldDreamer para capturar elementos dinámicos en diversos entornos generales del mundo.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.