Dreamland: Criação de Mundos Controláveis com Simulador e Modelos Gerativos

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Autores: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Resumo

Modelos generativos de vídeo em grande escala podem sintetizar conteúdo visual diversificado e realista para a criação de mundos dinâmicos, mas frequentemente carecem de controlabilidade em nível de elementos, dificultando seu uso na edição de cenas e no treinamento de agentes de IA incorporados. Propomos o Dreamland, um framework híbrido de geração de mundos que combina o controle granular de um simulador baseado em física e a saída de conteúdo fotorrealista de modelos generativos pré-treinados em grande escala. Em particular, projetamos uma abstração de mundo em camadas que codifica tanto a semântica quanto a geometria em nível de pixel e de objeto como uma representação intermediária para conectar o simulador e o modelo generativo. Essa abordagem aumenta a controlabilidade, minimiza o custo de adaptação por meio de um alinhamento precoce com distribuições do mundo real e suporta o uso imediato de modelos generativos pré-treinados existentes e futuros. Além disso, construímos um conjunto de dados D3Sim para facilitar o treinamento e a avaliação de pipelines de geração híbrida. Experimentos demonstram que o Dreamland supera as linhas de base existentes com uma melhoria de 50,8% na qualidade da imagem, 17,9% maior controlabilidade e possui grande potencial para aprimorar o treinamento de agentes incorporados. O código e os dados serão disponibilizados.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.