HiScene: Het creëren van hiërarchische 3D-scènes met isometrische weergavegeneratie

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Auteurs: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Samenvatting

Scene-level 3D-generatie vertegenwoordigt een cruciaal front in multimedia en computergraphics, maar bestaande benaderingen lijden ofwel onder beperkte objectcategorieën of ontberen bewerkingsflexibiliteit voor interactieve toepassingen. In dit artikel presenteren we HiScene, een nieuw hiërarchisch raamwerk dat de kloof overbrugt tussen 2D-beeldgeneratie en 3D-objectgeneratie, en hoogwaardige scènes levert met compositionele identiteiten en esthetische scène-inhoud. Onze belangrijkste inzicht is het behandelen van scènes als hiërarchische "objecten" onder isometrische weergaven, waarbij een kamer functioneert als een complex object dat verder kan worden opgedeeld in manipuleerbare items. Deze hiërarchische aanpak stelt ons in staat om 3D-inhoud te genereren die aansluit bij 2D-representaties, terwijl de compositionele structuur behouden blijft. Om de volledigheid en ruimtelijke uitlijning van elk opgedeeld exemplaar te waarborgen, ontwikkelen we een op video-diffusie gebaseerde amodale completeringstechniek die effectief omgaat met occlusies en schaduwen tussen objecten, en introduceren we shape prior injection om ruimtelijke samenhang binnen de scène te garanderen. Experimentele resultaten tonen aan dat onze methode natuurlijkere objectarrangementen en complete objectexemplaren produceert die geschikt zijn voor interactieve toepassingen, terwijl fysieke plausibiliteit en uitlijning met gebruikersinvoer behouden blijven.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.