WorldDreamer: マスクされたトークンの予測によるビデオ生成のための汎用世界モデルに向けて

WorldDreamer: Towards General World Models for Video Generation via Predicting Masked Tokens

January 18, 2024

著者: Xiaofeng Wang, Zheng Zhu, Guan Huang, Boyuan Wang, Xinze Chen, Jiwen Lu

cs.AI

要旨

ワールドモデルは、世界のダイナミクスを理解し予測する上で重要な役割を果たし、ビデオ生成において不可欠な要素です。しかし、既存のワールドモデルはゲームや運転といった特定のシナリオに限定されており、一般的な世界の複雑な動的環境を捉える能力が制限されています。そこで、私たちはWorldDreamerを提案します。これは、一般的な世界の物理と動きを包括的に理解することを促進する先駆的なワールドモデルであり、ビデオ生成の能力を大幅に向上させます。大規模言語モデルの成功に着想を得て、WorldDreamerはワールドモデリングを教師なし視覚シーケンスモデリングの課題として捉えます。これは、視覚入力を離散トークンにマッピングし、マスクされたトークンを予測することで実現されます。このプロセスにおいて、マルチモーダルプロンプトを組み込み、ワールドモデル内での相互作用を促進します。私たちの実験では、WorldDreamerが自然景観や運転環境など、さまざまなシナリオでのビデオ生成において優れた性能を発揮することが示されました。WorldDreamerは、テキストからビデオへの変換、画像からビデオへの合成、ビデオ編集といったタスクを実行する際の汎用性を実証しています。これらの結果は、WorldDreamerが多様な一般的な世界環境における動的要素を捉える上で効果的であることを裏付けています。

English

World models play a crucial role in understanding and predicting the dynamics of the world, which is essential for video generation. However, existing world models are confined to specific scenarios such as gaming or driving, limiting their ability to capture the complexity of general world dynamic environments. Therefore, we introduce WorldDreamer, a pioneering world model to foster a comprehensive comprehension of general world physics and motions, which significantly enhances the capabilities of video generation. Drawing inspiration from the success of large language models, WorldDreamer frames world modeling as an unsupervised visual sequence modeling challenge. This is achieved by mapping visual inputs to discrete tokens and predicting the masked ones. During this process, we incorporate multi-modal prompts to facilitate interaction within the world model. Our experiments show that WorldDreamer excels in generating videos across different scenarios, including natural scenes and driving environments. WorldDreamer showcases versatility in executing tasks such as text-to-video conversion, image-tovideo synthesis, and video editing. These results underscore WorldDreamer's effectiveness in capturing dynamic elements within diverse general world environments.