Dreamland: Creación de Mundos Controlables con Simuladores y Modelos Generativos

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Autores: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Resumen

Los modelos generativos de video a gran escala pueden sintetizar contenido visual diverso y realista para la creación de mundos dinámicos, pero a menudo carecen de controlabilidad a nivel de elementos, lo que dificulta su uso en la edición de escenas y el entrenamiento de agentes de IA encarnados. Proponemos Dreamland, un marco híbrido de generación de mundos que combina el control granular de un simulador basado en física y la salida de contenido fotorrealista de modelos generativos preentrenados a gran escala. En particular, diseñamos una abstracción de mundo en capas que codifica tanto la semántica como la geometría a nivel de píxeles y objetos como una representación intermedia para conectar el simulador y el modelo generativo. Este enfoque mejora la controlabilidad, minimiza el costo de adaptación mediante una alineación temprana con distribuciones del mundo real y permite el uso inmediato de modelos generativos preentrenados existentes y futuros. Además, construimos un conjunto de datos D3Sim para facilitar el entrenamiento y la evaluación de pipelines de generación híbrida. Los experimentos demuestran que Dreamland supera a las líneas de base existentes con un 50.8% de mejora en la calidad de la imagen, un 17.9% de mayor controlabilidad y tiene un gran potencial para mejorar el entrenamiento de agentes encarnados. El código y los datos estarán disponibles.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.