PanoDreamer : Synthèse de panorama 3D à partir d'une seule image

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Auteurs: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Résumé

Dans cet article, nous présentons PanoDreamer, une nouvelle méthode pour produire une scène 3D cohérente à 360 degrés à partir d'une seule image d'entrée. Contrairement aux méthodes existantes qui génèrent la scène de manière séquentielle, nous formulons le problème comme une estimation de panorama et de profondeur à partir d'une seule image. Une fois l'image panoramique cohérente et sa profondeur correspondante obtenues, la scène peut être reconstruite en comblant les petites régions occultées et en les projetant dans l'espace 3D. Notre contribution principale réside dans la formulation de l'estimation de panorama et de profondeur à partir d'une seule image comme deux tâches d'optimisation et dans l'introduction de stratégies de minimisation alternée pour résoudre efficacement leurs objectifs. Nous démontrons que notre approche surpasse les techniques existantes en matière de reconstruction de scènes à 360 degrés à partir d'une seule image en termes de cohérence et de qualité globale.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.