Vid2World: ビデオ拡散モデルをインタラクティブな世界モデルへと構築する

要旨

世界モデルは、過去の観測と行動のシーケンスに基づいて遷移を予測するものであり、逐次的意思決定におけるデータ効率の向上において大きな可能性を示しています。しかし、既存の世界モデルは、多くの場合、広範なドメイン固有の訓練を必要とし、依然として低忠実度で粗い予測を生成するため、複雑な環境での適用が制限されています。一方、大規模なインターネット規模のデータセットで訓練されたビデオ拡散モデルは、多様な現実世界のダイナミクスを捉えた高品質なビデオを生成する印象的な能力を示しています。本研究では、事前訓練されたビデオ拡散モデルを活用し、インタラクティブな世界モデルに転移するための一般的なアプローチであるVid2Worldを提案します。このギャップを埋めるために、Vid2Worldは、事前訓練されたビデオ拡散モデルの因果化を行い、そのアーキテクチャと訓練目的を設計して自己回帰生成を可能にします。さらに、因果的行動ガイダンスメカニズムを導入し、結果として得られるインタラクティブな世界モデルにおける行動の制御性を向上させます。ロボット操作やゲームシミュレーションの領域での広範な実験により、我々の手法が、高度な能力を持つビデオ拡散モデルをインタラクティブな世界モデルに再利用するためのスケーラブルで効果的なアプローチを提供することが示されました。

English

World models, which predict transitions based on history observation and action sequences, have shown great promise in improving data efficiency for sequential decision making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their applicability in complex environments. In contrast, video diffusion models trained on large, internet-scale datasets have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World performs casualization of a pre-trained video diffusion model by crafting its architecture and training objective to enable autoregressive generation. Furthermore, it introduces a causal action guidance mechanism to enhance action controllability in the resulting interactive world model. Extensive experiments in robot manipulation and game simulation domains show that our method offers a scalable and effective approach for repurposing highly capable video diffusion models to interactive world models.

Vid2World: ビデオ拡散モデルをインタラクティブな世界モデルへと構築する

Vid2World: Crafting Video Diffusion Models to Interactive World Models

要旨

Support