Dreamland: Beheersbare Wereldcreatie met Simulator en Generatieve Modellen

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Auteurs: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Samenvatting

Grootschalige videogeneratieve modellen kunnen diverse en realistische visuele inhoud synthetiseren voor de creatie van dynamische werelden, maar ze missen vaak elementgewijze bestuurbaarheid, wat hun gebruik bij het bewerken van scènes en het trainen van belichaamde AI-agenten belemmert. Wij stellen Dreamland voor, een hybride wereldgeneratieframework dat de gedetailleerde controle van een op fysica gebaseerde simulator combineert met de fotorealistische inhoudsoutput van grootschalige vooraf getrainde generatieve modellen. In het bijzonder ontwerpen we een gelaagde wereldabstractie die zowel pixel- als objectniveau semantiek en geometrie codeert als een tussenliggende representatie om de simulator en het generatieve model te verbinden. Deze aanpak verbetert de bestuurbaarheid, minimaliseert de aanpassingskosten door vroege afstemming op real-world distributies, en ondersteunt het directe gebruik van bestaande en toekomstige vooraf getrainde generatieve modellen. We construeren verder een D3Sim-dataset om de training en evaluatie van hybride generatiepijplijnen te vergemakkelijken. Experimenten tonen aan dat Dreamland bestaande baseline-methoden overtreft met een 50,8% verbeterde beeldkwaliteit, 17,9% sterkere bestuurbaarheid, en groot potentieel heeft om de training van belichaamde agenten te verbeteren. Code en data zullen beschikbaar worden gesteld.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.