WorldDreamer: К созданию универсальных моделей мира для генерации видео через предсказание замаскированных токенов

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

Авторы: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

Аннотация

Модели мира играют ключевую роль в понимании и предсказании динамики окружающего мира, что крайне важно для генерации видео. Однако существующие модели мира ограничены конкретными сценариями, такими как игры или вождение, что снижает их способность охватывать сложность общих динамических сред. В связи с этим мы представляем WorldDreamer — новаторскую модель мира, направленную на всестороннее понимание физики и движений в общем мире, что значительно расширяет возможности генерации видео. Вдохновляясь успехами крупных языковых моделей, WorldDreamer формулирует моделирование мира как задачу неконтролируемого моделирования визуальных последовательностей. Это достигается путем преобразования визуальных входных данных в дискретные токены и предсказания замаскированных элементов. В этом процессе мы используем мультимодальные подсказки для облегчения взаимодействия внутри модели мира. Наши эксперименты показывают, что WorldDreamer превосходно справляется с генерацией видео в различных сценариях, включая природные ландшафты и дорожные условия. WorldDreamer демонстрирует универсальность в выполнении задач, таких как преобразование текста в видео, синтез видео из изображений и редактирование видео. Эти результаты подчеркивают эффективность WorldDreamer в захвате динамических элементов в разнообразных общих мировых средах.

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.