LayerPano3D: Geschichtete 3D-Panorama für die Generierung hyperimmersiver Szenen

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Autoren: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Zusammenfassung

Die Generierung von 3D-immersiven Szenen ist eine anspruchsvolle, aber entscheidende Aufgabe in der Computer Vision und Grafik. Eine gewünschte virtuelle 3D-Szene sollte 1) eine omnidirektionale Ansichtskonsistenz aufweisen und 2) eine freie Erkundung in komplexen Szenenhierarchien ermöglichen. Bestehende Methoden stützen sich entweder auf die sukzessive Szenenerweiterung über Inpainting oder verwenden Panoramadarstellung, um große FOV-Szenenumgebungen darzustellen. Die generierte Szene leidet jedoch unter semantischer Drift während der Erweiterung und kann keine Okklusion zwischen Szenenhierarchien handhaben. Um diese Herausforderungen anzugehen, führen wir LayerPano3D ein, ein neuartiges Framework für die Generierung von vollständigen, erkundbaren panoramischen 3D-Szenen aus einer einzigen Texteingabe. Unser Schlüsselerkenntnis besteht darin, eine Referenz-2D-Panorama in mehrere Ebenen auf unterschiedlichen Tiefenebenen zu zerlegen, wobei jede Ebene den unentdeckten Raum aus den Referenzansichten über eine Diffusionspriorität offenbart. LayerPano3D umfasst mehrere dedizierte Designs: 1) Wir führen eine neuartige textgesteuerte Ankeransichtssynthesepipeline für die hochwertige, konsistente Panoramagenerierung ein. 2) Wir sind Wegbereiter für das Schicht-3D-Panorama als zugrunde liegende Darstellung zur Verwaltung komplexer Szenenhierarchien und heben es in 3D-Gaußscheiben an, um detaillierte 360-Grad-omnidirektionale Szenen mit uneingeschränkten Betrachtungspfaden zu erzeugen. Umfangreiche Experimente zeigen, dass unser Framework 3D-panoramische Szenen auf dem neuesten Stand sowohl in der Vollansichtskonsistenz als auch in der immersiven Erkundungserfahrung generiert. Wir sind der Meinung, dass LayerPano3D das Potenzial hat, die Erstellung von 3D-panoramischen Szenen mit zahlreichen Anwendungen voranzutreiben.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.