WorldDreamer: Rumo a Modelos Mundiais Gerais para Geração de Vídeo por meio da Previsão de Tokens Mascarados

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Autores: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Resumo

Os modelos de mundo desempenham um papel crucial na compreensão e previsão das dinâmicas do mundo, o que é essencial para a geração de vídeos. No entanto, os modelos de mundo existentes estão restritos a cenários específicos, como jogos ou direção, limitando sua capacidade de capturar a complexidade de ambientes dinâmicos gerais do mundo. Portanto, apresentamos o WorldDreamer, um modelo de mundo pioneiro para promover uma compreensão abrangente da física e dos movimentos gerais do mundo, o que melhora significativamente as capacidades de geração de vídeos. Inspirados pelo sucesso dos grandes modelos de linguagem, o WorldDreamer enquadra a modelagem de mundo como um desafio de modelagem de sequências visuais não supervisionadas. Isso é alcançado mapeando entradas visuais para tokens discretos e prevendo os tokens mascarados. Durante esse processo, incorporamos prompts multimodais para facilitar a interação dentro do modelo de mundo. Nossos experimentos mostram que o WorldDreamer se destaca na geração de vídeos em diferentes cenários, incluindo cenas naturais e ambientes de direção. O WorldDreamer demonstra versatilidade na execução de tarefas como conversão de texto para vídeo, síntese de imagem para vídeo e edição de vídeo. Esses resultados destacam a eficácia do WorldDreamer em capturar elementos dinâmicos em diversos ambientes gerais do mundo.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.