DreamScene: Generación de Escenas 3D Basada en Gaussianos de Extremo a Extremo a partir de Texto

DreamScene: 3D Gaussian-based End-to-end Text-to-3D Scene Generation

July 18, 2025

Autores: Haoran Li, Yuli Tian, Kun Lan, Yong Liao, Lin Wang, Pan Hui, Peng Yuan Zhou

cs.AI

Resumen

La generación de escenas 3D a partir de lenguaje natural tiene un gran potencial para aplicaciones en juegos, cine y diseño. Sin embargo, los métodos existentes enfrentan desafíos en cuanto a automatización, consistencia 3D y control detallado. Presentamos DreamScene, un marco integral para la generación de escenas 3D de alta calidad y editables a partir de texto o diálogo. DreamScene comienza con un módulo de planificación de escenas, donde un agente GPT-4 infiere semántica de objetos y restricciones espaciales para construir un gráfico híbrido. Un algoritmo de colocación basado en gráficos produce luego un diseño estructurado y libre de colisiones. Basándose en este diseño, el Muestreo de Patrones de Formación (FPS) genera geometría de objetos utilizando muestreo multi-paso y optimización reconstructiva, permitiendo una síntesis rápida y realista. Para garantizar consistencia global, DreamScene emplea una estrategia de muestreo progresivo de cámaras adaptada tanto a entornos interiores como exteriores. Finalmente, el sistema permite la edición detallada de escenas, incluyendo movimiento de objetos, cambios de apariencia y movimiento dinámico 4D. Los experimentos demuestran que DreamScene supera a métodos anteriores en calidad, consistencia y flexibilidad, ofreciendo una solución práctica para la creación de contenido 3D en dominios abiertos. El código y demostraciones están disponibles en https://jahnsonblack.github.io/DreamScene-Full/.

English

Generating 3D scenes from natural language holds great promise for applications in gaming, film, and design. However, existing methods struggle with automation, 3D consistency, and fine-grained control. We present DreamScene, an end-to-end framework for high-quality and editable 3D scene generation from text or dialogue. DreamScene begins with a scene planning module, where a GPT-4 agent infers object semantics and spatial constraints to construct a hybrid graph. A graph-based placement algorithm then produces a structured, collision-free layout. Based on this layout, Formation Pattern Sampling (FPS) generates object geometry using multi-timestep sampling and reconstructive optimization, enabling fast and realistic synthesis. To ensure global consistent, DreamScene employs a progressive camera sampling strategy tailored to both indoor and outdoor settings. Finally, the system supports fine-grained scene editing, including object movement, appearance changes, and 4D dynamic motion. Experiments demonstrate that DreamScene surpasses prior methods in quality, consistency, and flexibility, offering a practical solution for open-domain 3D content creation. Code and demos are available at https://jahnsonblack.github.io/DreamScene-Full/.