Dreamland : Création de mondes contrôlables avec simulateur et modèles génératifs

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Auteurs: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Résumé

Les modèles génératifs de vidéo à grande échelle peuvent synthétiser un contenu visuel diversifié et réaliste pour la création de mondes dynamiques, mais ils manquent souvent de contrôlabilité élément par élément, limitant leur utilisation dans l'édition de scènes et l'entraînement d'agents IA incarnés. Nous proposons Dreamland, un cadre hybride de génération de mondes combinant le contrôle granulaire d'un simulateur basé sur la physique et la production de contenu photoréaliste des modèles génératifs pré-entraînés à grande échelle. En particulier, nous concevons une abstraction de monde en couches qui encode à la fois la sémantique et la géométrie au niveau des pixels et des objets comme une représentation intermédiaire pour relier le simulateur et le modèle génératif. Cette approche améliore la contrôlabilité, minimise les coûts d'adaptation grâce à un alignement précoce avec les distributions du monde réel, et supporte l'utilisation immédiate de modèles génératifs pré-entraînés existants et futurs. Nous construisons en outre un ensemble de données D3Sim pour faciliter l'entraînement et l'évaluation des pipelines de génération hybrides. Les expériences démontrent que Dreamland surpasse les bases de référence existantes avec une amélioration de 50,8 % de la qualité d'image, une contrôlabilité renforcée de 17,9 %, et un grand potentiel pour améliorer l'entraînement des agents incarnés. Le code et les données seront rendus disponibles.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.