Dreamland: Создание управляемых миров с использованием симуляторов и генеративных моделей

Dreamland: Controllable World Creation with Simulator and Generative Models

June 9, 2025

Авторы: Sicheng Mo, Ziyang Leng, Leon Liu, Weizhen Wang, Honglin He, Bolei Zhou

cs.AI

Аннотация

Крупномасштабные генеративные модели для видео способны синтезировать разнообразный и реалистичный визуальный контент для создания динамических миров, однако они часто не обеспечивают поэлементного управления, что ограничивает их использование в редактировании сцен и обучении воплощенных ИИ-агентов. Мы предлагаем Dreamland — гибридную структуру для генерации миров, которая сочетает детализированный контроль физического симулятора и фотореалистичный вывод крупномасштабных предобученных генеративных моделей. В частности, мы разработали слоистую абстракцию мира, которая кодирует семантику и геометрию как на уровне пикселей, так и на уровне объектов, используя промежуточное представление для связи симулятора и генеративной модели. Этот подход повышает управляемость, минимизирует затраты на адаптацию за счет раннего согласования с распределениями реального мира и поддерживает использование существующих и будущих предобученных генеративных моделей без дополнительной доработки. Мы также создали набор данных D3Sim для облегчения обучения и оценки гибридных генеративных процессов. Эксперименты показывают, что Dreamland превосходит существующие базовые методы, улучшая качество изображений на 50,8% и повышая управляемость на 17,9%, а также демонстрирует значительный потенциал для улучшения обучения воплощенных агентов. Код и данные будут доступны.

English

Large-scale video generative models can synthesize diverse and realistic visual content for dynamic world creation, but they often lack element-wise controllability, hindering their use in editing scenes and training embodied AI agents. We propose Dreamland, a hybrid world generation framework combining the granular control of a physics-based simulator and the photorealistic content output of large-scale pretrained generative models. In particular, we design a layered world abstraction that encodes both pixel-level and object-level semantics and geometry as an intermediate representation to bridge the simulator and the generative model. This approach enhances controllability, minimizes adaptation cost through early alignment with real-world distributions, and supports off-the-shelf use of existing and future pretrained generative models. We further construct a D3Sim dataset to facilitate the training and evaluation of hybrid generation pipelines. Experiments demonstrate that Dreamland outperforms existing baselines with 50.8% improved image quality, 17.9% stronger controllability, and has great potential to enhance embodied agent training. Code and data will be made available.