LayerPano3D: Panorama 3D Stratificato per la Generazione di Scene Iper-Immersive

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Autori: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Abstract

La generazione di scene immersive 3D è un compito impegnativo ma cruciale nel campo della visione artificiale e della grafica. Una scena virtuale 3D ideale dovrebbe 1) mostrare una coerenza visiva omnidirezionale e 2) consentire un'esplorazione libera all'interno di gerarchie di scene complesse. I metodi esistenti si basano sull'espansione progressiva della scena tramite inpainting o utilizzano rappresentazioni panoramiche per descrivere ambienti con un ampio campo visivo (FOV). Tuttavia, le scene generate soffrono di deriva semantica durante l'espansione e non sono in grado di gestire le occlusioni tra le gerarchie delle scene. Per affrontare queste sfide, introduciamo LayerPano3D, un nuovo framework per la generazione di scene panoramiche 3D esplorabili e a vista completa a partire da un singolo prompt testuale. La nostra intuizione chiave è quella di scomporre un panorama 2D di riferimento in più livelli a diverse profondità, dove ciascun livello rivela lo spazio non visibile dalle viste di riferimento tramite un prior di diffusione. LayerPano3D include diverse soluzioni progettuali: 1) introduciamo una pipeline innovativa per la sintesi di viste ancorate guidata da testo, finalizzata alla generazione di panorami di alta qualità e coerenti. 2) Proponiamo il Panorama 3D Stratificato come rappresentazione sottostante per gestire gerarchie di scene complesse e lo eleviamo a Gaussiane 3D per splattare scene omnidirezionali dettagliate a 360 gradi con percorsi di visualizzazione senza vincoli. Esperimenti estensivi dimostrano che il nostro framework genera scene panoramiche 3D all'avanguardia sia in termini di coerenza visiva completa che di esperienza esplorativa immersiva. Crediamo che LayerPano3D abbia il potenziale per avanzare la creazione di scene panoramiche 3D con numerose applicazioni.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.