LayerPano3D: Panorama 3D en capas para la generación de escenas hiperinmersivas

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Autores: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Resumen

La generación de escenas inmersivas en 3D es una tarea desafiante pero crítica en visión por computadora y gráficos. Una escena virtual 3D deseada debe 1) mostrar consistencia de vista omnidireccional, y 2) permitir una exploración libre en jerarquías de escenas complejas. Los métodos existentes se basan en la expansión sucesiva de escenas a través de inpainting o emplean representación de panoramas para mostrar entornos de escenas con un amplio campo de visión. Sin embargo, la escena generada sufre de desviación semántica durante la expansión y no puede manejar la oclusión entre las jerarquías de escenas. Para abordar estos desafíos, presentamos LayerPano3D, un marco novedoso para la generación de escenas panorámicas 3D de vista completa y explorables a partir de una única indicación de texto. Nuestra idea clave es descomponer un panorama 2D de referencia en múltiples capas en diferentes niveles de profundidad, donde cada capa revela el espacio no visto desde las vistas de referencia a través de una difusión previa. LayerPano3D incluye múltiples diseños dedicados: 1) introducimos un innovador pipeline de síntesis de vista anclada guiada por texto para una generación de panoramas de alta calidad y consistencia. 2) Pioneramos el Panorama 3D en Capas como representación subyacente para gestionar jerarquías de escenas complejas y lo elevamos a Gaussianas en 3D para proyectar escenas omnidireccionales detalladas de 360 grados con trayectorias de visualización sin restricciones. Experimentos extensos demuestran que nuestro marco genera una escena panorámica 3D de última generación tanto en consistencia de vista completa como en experiencia inmersiva de exploración. Creemos que LayerPano3D promete avanzar en la creación de escenas panorámicas 3D con numerosas aplicaciones.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.