Dreamland: Creazione Controllata di Mondi con Simulatori e Modelli Generativi

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Autori: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Abstract

I modelli generativi su larga scala per video possono sintetizzare contenuti visivi diversificati e realistici per la creazione di mondi dinamici, ma spesso mancano di controllabilità a livello di singoli elementi, limitando il loro utilizzo nella modifica delle scene e nell'addestramento di agenti AI incarnati. Proponiamo Dreamland, un framework ibrido per la generazione di mondi che combina il controllo granulare di un simulatore basato sulla fisica con l'output di contenuti fotorealistici di modelli generativi pre-addestrati su larga scala. In particolare, progettiamo un'astrazione stratificata del mondo che codifica sia la semantica che la geometria a livello di pixel e di oggetti come rappresentazione intermedia per collegare il simulatore e il modello generativo. Questo approccio migliora la controllabilità, riduce i costi di adattamento attraverso un allineamento precoce con le distribuzioni del mondo reale e supporta l'uso immediato di modelli generativi pre-addestrati esistenti e futuri. Inoltre, costruiamo un dataset D3Sim per facilitare l'addestramento e la valutazione di pipeline di generazione ibride. Gli esperimenti dimostrano che Dreamland supera le baseline esistenti con un miglioramento del 50,8% nella qualità delle immagini, un aumento del 17,9% nella controllabilità e un grande potenziale per migliorare l'addestramento degli agenti incarnati. Codice e dati saranno resi disponibili.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.