HiScene: Creación de Escenas 3D Jerárquicas con Generación de Vistas Isométricas

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Autores: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Resumen

La generación de escenas 3D a nivel de escena representa una frontera crítica en multimedia y gráficos por computadora, sin embargo, los enfoques existentes adolecen de categorías de objetos limitadas o carecen de flexibilidad de edición para aplicaciones interactivas. En este artículo, presentamos HiScene, un marco jerárquico novedoso que cierra la brecha entre la generación de imágenes 2D y la generación de objetos 3D, y ofrece escenas de alta fidelidad con identidades compositivas y contenido escénico estético. Nuestra idea clave es tratar las escenas como "objetos" jerárquicos bajo vistas isométricas, donde una habitación funciona como un objeto complejo que puede descomponerse en elementos manipulables. Este enfoque jerárquico nos permite generar contenido 3D que se alinea con representaciones 2D mientras mantiene la estructura compositiva. Para garantizar la completitud y alineación espacial de cada instancia descompuesta, desarrollamos una técnica de completamiento amodal basada en difusión de video que maneja eficazmente oclusiones y sombras entre objetos, e introducimos la inyección de prioridades de forma para asegurar la coherencia espacial dentro de la escena. Los resultados experimentales demuestran que nuestro método produce arreglos de objetos más naturales e instancias de objetos completas adecuadas para aplicaciones interactivas, manteniendo la plausibilidad física y la alineación con las entradas del usuario.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.