HiScene: Erstellung hierarchischer 3D-Szenen mit isometrischer Ansichtgenerierung

HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation

April 17, 2025

Autoren: Wenqi Dong, Bangbang Yang, Zesong Yang, Yuan Li, Tao Hu, Hujun Bao, Yuewen Ma, Zhaopeng Cui

cs.AI

Zusammenfassung

Die Erzeugung von Szenen auf 3D-Ebene stellt eine entscheidende Grenze in der Multimedia- und Computergrafik dar, doch bestehende Ansätze leiden entweder unter begrenzten Objektkategorien oder fehlender Bearbeitungsflexibilität für interaktive Anwendungen. In diesem Artikel präsentieren wir HiScene, ein neuartiges hierarchisches Framework, das die Lücke zwischen 2D-Bildgenerierung und 3D-Objekterzeugung schließt und hochwertige Szenen mit kompositionellen Identitäten und ästhetischem Szeneninhalt liefert. Unser zentraler Ansatz besteht darin, Szenen als hierarchische „Objekte“ unter isometrischen Ansichten zu betrachten, wobei ein Raum als komplexes Objekt fungiert, das weiter in manipulierbare Elemente zerlegt werden kann. Dieser hierarchische Ansatz ermöglicht es uns, 3D-Inhalte zu generieren, die mit 2D-Darstellungen übereinstimmen, während die kompositionelle Struktur erhalten bleibt. Um die Vollständigkeit und räumliche Ausrichtung jeder zerlegten Instanz sicherzustellen, entwickeln wir eine videodiffusionsbasierte amodale Vervollständigungstechnik, die effektiv mit Verdeckungen und Schatten zwischen Objekten umgeht, und führen eine Form-Prior-Injektion ein, um die räumliche Kohärenz innerhalb der Szene zu gewährleisten. Experimentelle Ergebnisse zeigen, dass unsere Methode natürlichere Objektanordnungen und vollständige Objektinstanzen erzeugt, die für interaktive Anwendungen geeignet sind, während die physikalische Plausibilität und Ausrichtung mit Benutzereingaben erhalten bleibt.

English

Scene-level 3D generation represents a critical frontier in multimedia and computer graphics, yet existing approaches either suffer from limited object categories or lack editing flexibility for interactive applications. In this paper, we present HiScene, a novel hierarchical framework that bridges the gap between 2D image generation and 3D object generation and delivers high-fidelity scenes with compositional identities and aesthetic scene content. Our key insight is treating scenes as hierarchical "objects" under isometric views, where a room functions as a complex object that can be further decomposed into manipulatable items. This hierarchical approach enables us to generate 3D content that aligns with 2D representations while maintaining compositional structure. To ensure completeness and spatial alignment of each decomposed instance, we develop a video-diffusion-based amodal completion technique that effectively handles occlusions and shadows between objects, and introduce shape prior injection to ensure spatial coherence within the scene. Experimental results demonstrate that our method produces more natural object arrangements and complete object instances suitable for interactive applications, while maintaining physical plausibility and alignment with user inputs.