LayerPano3D: Gelaagd 3D Panorama voor Hyper-Immersieve Scènegeneratie

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Auteurs: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Samenvatting

3D-immersieve scènegeneratie is een uitdagende maar cruciale taak in computervisie en grafische technologie. Een gewenste virtuele 3D-scène moet 1) omnidirectionele consistentie in het zicht vertonen en 2) vrije verkenning mogelijk maken in complexe scènehiërarchieën. Bestaande methoden vertrouwen op opeenvolgende scène-uitbreiding via inpainting of gebruiken panoramarepresentatie om grote gezichtsveldscènes weer te geven. Echter, de gegenereerde scène lijdt aan semantische verschuiving tijdens de uitbreiding en kan occlusie tussen scènehiërarchieën niet goed hanteren. Om deze uitdagingen aan te pakken, introduceren we LayerPano3D, een nieuw framework voor het genereren van volledig verkennbare panoramische 3D-scènes vanuit een enkele tekstprompt. Onze belangrijkste inzicht is het ontbinden van een referentie-2D-panorama in meerdere lagen op verschillende diepteniveaus, waarbij elke laag de onzichtbare ruimte vanuit de referentieweergaven onthult via een diffusieprior. LayerPano3D omvat meerdere specifieke ontwerpen: 1) we introduceren een nieuwe tekstgeleide ankerweergave-synthesepijplijn voor hoogwaardige, consistente panoramageneratie. 2) We pionieren de Gelaagde 3D-Panorama als onderliggende representatie om complexe scènehiërarchieën te beheren en tillen deze op naar 3D-Gaussians om gedetailleerde 360-graden omnidirectionele scènes te splatten met onbeperkte kijkpaden. Uitgebreide experimenten tonen aan dat ons framework state-of-the-art 3D-panoramascènes genereert in zowel volledige zichtconsistentie als een immersieve verkenningsexperience. Wij geloven dat LayerPano3D veelbelovend is voor het bevorderen van 3D-panoramascènecreatie met talrijke toepassingen.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.