PanoDreamer: Síntese de Panorama 3D a partir de uma Única Imagem

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Autores: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Resumo

Neste artigo, apresentamos o PanoDreamer, um método inovador para produzir uma cena 3D coerente de 360 graus a partir de uma única imagem de entrada. Ao contrário dos métodos existentes que geram a cena sequencialmente, formulamos o problema como estimativa de panorama e profundidade de imagem única. Uma vez obtida a imagem panorâmica coerente e sua profundidade correspondente, a cena pode ser reconstruída preenchendo as pequenas regiões ocultas e projetando-as no espaço 3D. Nossa contribuição chave é formular a estimativa de panorama e profundidade de imagem única como dois problemas de otimização e introduzir estratégias de minimização alternada para resolver efetivamente seus objetivos. Demonstramos que nossa abordagem supera as técnicas existentes na reconstrução de cena de 360 graus de imagem única em termos de consistência e qualidade geral.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.