LayerPano3D: Panorama 3D em Camadas para Geração de Cenas Hiperimersivas

LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

August 23, 2024

Autores: Shuai Yang, Jing Tan, Mengchen Zhang, Tong Wu, Yixuan Li, Gordon Wetzstein, Ziwei Liu, Dahua Lin

cs.AI

Resumo

A geração de cenas imersivas em 3D é uma tarefa desafiadora, porém crucial, na visão computacional e gráficos. Uma cena 3D virtual desejada deve 1) apresentar consistência de visão omnidirecional e 2) permitir exploração livre em hierarquias de cenas complexas. Métodos existentes geralmente se baseiam na expansão sucessiva da cena por meio de inpainting ou utilizam representação de panorama para ambientes de cena com amplo campo de visão. No entanto, a cena gerada sofre com desvio semântico durante a expansão e não consegue lidar com oclusão entre hierarquias de cenas. Para enfrentar esses desafios, apresentamos o LayerPano3D, um novo framework para geração de cenas panorâmicas 3D completas e exploráveis a partir de um único texto de entrada. Nosso insight chave é decompor um panorama 2D de referência em múltiplas camadas em diferentes níveis de profundidade, onde cada camada revela o espaço não visto a partir das visões de referência por meio de uma priori de difusão. O LayerPano3D inclui vários designs dedicados: 1) introduzimos um novo pipeline de síntese de visão âncora guiada por texto para geração de panoramas de alta qualidade e consistentes. 2) Somos pioneiros na utilização do Panorama 3D em Camadas como representação subjacente para gerenciar hierarquias de cenas complexas e elevá-lo em Gaussianas 3D para projetar cenas omnidirecionais detalhadas de 360 graus com caminhos de visualização não restritos. Experimentos extensivos demonstram que nosso framework gera cenas panorâmicas 3D de última geração tanto em consistência de visão completa quanto em experiência imersiva de exploração. Acreditamos que o LayerPano3D tem o potencial de avançar na criação de cenas panorâmicas 3D com inúmeras aplicações.

English

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.