Traumland: Kontrollierbare Welterzeugung mit Simulatoren und generativen Modellen

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Autoren: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Zusammenfassung

Großskalige videogenerative Modelle können vielfältige und realistische visuelle Inhalte für die Erstellung dynamischer Welten synthetisieren, jedoch fehlt ihnen oft eine elementweise Steuerbarkeit, was ihre Verwendung bei der Bearbeitung von Szenen und dem Training von verkörperten KI-Agenten behindert. Wir schlagen Dreamland vor, ein hybrides Weltgenerierungsframework, das die granulare Kontrolle eines physikbasierten Simulators mit der fotorealistischen Inhaltsausgabe großskaliger vortrainierter generativer Modelle kombiniert. Insbesondere entwerfen wir eine geschichtete Weltabstraktion, die sowohl pixel- als auch objektbezogene Semantik und Geometrie als Zwischendarstellung kodiert, um den Simulator und das generative Modell zu verbinden. Dieser Ansatz verbessert die Steuerbarkeit, minimiert die Anpassungskosten durch frühzeitige Ausrichtung an realen Verteilungen und unterstützt die sofortige Verwendung bestehender und zukünftiger vortrainierter generativer Modelle. Darüber hinaus erstellen wir einen D3Sim-Datensatz, um das Training und die Bewertung hybrider Generierungspipelines zu erleichtern. Experimente zeigen, dass Dreamland bestehende Baselines mit einer um 50,8 % verbesserten Bildqualität und einer um 17,9 % stärkeren Steuerbarkeit übertrifft und großes Potenzial zur Verbesserung des Trainings verkörperter Agenten besitzt. Code und Daten werden verfügbar gemacht.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.