PanoDreamer: Síntesis de Panoramas 3D a partir de una Única Imagen

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Autores: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Resumen

En este artículo, presentamos PanoDreamer, un método novedoso para producir una escena 3D coherente de 360 grados a partir de una única imagen de entrada. A diferencia de los métodos existentes que generan la escena de forma secuencial, planteamos el problema como estimación de panorámica y profundidad de una sola imagen. Una vez obtenida la imagen panorámica coherente y su profundidad correspondiente, la escena puede ser reconstruida rellenando las pequeñas regiones ocultas y proyectándolas en el espacio 3D. Nuestra contribución clave es formular la estimación de panorámica y profundidad de una sola imagen como dos tareas de optimización e introducir estrategias de minimización alternante para resolver eficazmente sus objetivos. Demostramos que nuestro enfoque supera a las técnicas existentes en la reconstrucción de escenas de 360 grados de una sola imagen en cuanto a consistencia y calidad general.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.