ドリームランド：シミュレータと生成モデルを用いた制御可能な世界創造

要旨

大規模なビデオ生成モデルは、ダイナミックな世界の創造において多様で現実的な視覚コンテンツを合成することができますが、要素ごとの制御性に欠けることが多く、シーンの編集やエンボディードAIエージェントのトレーニングにおける使用を妨げています。私たちは、物理ベースのシミュレーターの細かな制御性と、大規模な事前学習済み生成モデルのフォトリアルなコンテンツ出力を組み合わせたハイブリッド世界生成フレームワーク「Dreamland」を提案します。特に、ピクセルレベルとオブジェクトレベルのセマンティクスとジオメトリを中間表現としてエンコードする階層化された世界抽象化を設計し、シミュレーターと生成モデルを橋渡しします。このアプローチは、制御性を向上させ、現実世界の分布との早期の整合により適応コストを最小化し、既存および将来の事前学習済み生成モデルのオフザシェルフ使用をサポートします。さらに、ハイブリッド生成パイプラインのトレーニングと評価を促進するために、D3Simデータセットを構築しました。実験により、Dreamlandは既存のベースラインを上回り、画像品質が50.8％向上し、制御性が17.9％強化され、エンボディードエージェントのトレーニングを大幅に強化する可能性があることが示されています。コードとデータは公開される予定です。

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.

ドリームランド：シミュレータと生成モデルを用いた制御可能な世界創造

Dreamland: Controllable World Creation with Simulator and Generative Models

要旨

Support