LayerPano3D : Panorama 3D en couches pour la génération de scènes hyper-immersives

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Auteurs: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Résumé

La génération de scènes immersives en 3D est une tâche complexe mais cruciale en vision par ordinateur et en graphisme. Une scène virtuelle 3D souhaitée devrait 1) présenter une cohérence de vue omnidirectionnelle, et 2) permettre une exploration libre dans des hiérarchies de scènes complexes. Les méthodes existantes reposent soit sur l'expansion successive de scènes via l'inpainting, soit utilisent une représentation panoramique pour représenter de vastes environnements de scènes à champ de vision large. Cependant, la scène générée souffre d'une dérive sémantique pendant l'expansion et ne peut pas gérer l'occultation entre les hiérarchies de scènes. Pour relever ces défis, nous introduisons LayerPano3D, un nouveau cadre pour la génération de scènes panoramiques 3D explorables à vue complète à partir d'une seule instruction textuelle. Notre idée clé est de décomposer un panorama 2D de référence en plusieurs couches à différents niveaux de profondeur, où chaque couche révèle l'espace invisible des vues de référence via une diffusion préalable. LayerPano3D comprend plusieurs conceptions dédiées : 1) nous introduisons un nouveau pipeline de synthèse de vue d'ancrage guidée par le texte pour une génération de panoramas de haute qualité et cohérente. 2) Nous lançons le Panorama 3D en couches comme représentation sous-jacente pour gérer des hiérarchies de scènes complexes et le transformons en Gaussiennes 3D pour projeter des scènes omnidirectionnelles détaillées sur 360 degrés avec des trajectoires de vision non contraintes. Des expériences approfondies démontrent que notre cadre génère des scènes panoramiques 3D de pointe à la fois en termes de cohérence de vue complète et d'expérience immersive d'exploration. Nous pensons que LayerPano3D offre des perspectives pour faire progresser la création de scènes panoramiques 3D avec de nombreuses applications.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.