PanoDreamer: 3D-Panorama-Synthese aus einem einzigen Bild

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Autoren: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Zusammenfassung

In diesem Paper präsentieren wir PanoDreamer, eine neuartige Methode zur Erzeugung einer kohärenten 360° 3D-Szene aus einem einzigen Eingabebild. Im Gegensatz zu bestehenden Methoden, die die Szene sequenziell generieren, fassen wir das Problem als Einzelbild-Panorama- und Tiefenschätzung auf. Sobald das kohärente Panoramabild und die entsprechende Tiefe erhalten sind, kann die Szene durch das Ausbessern der kleinen verdeckten Regionen und deren Projektion in den 3D-Raum rekonstruiert werden. Unser Hauptbeitrag besteht darin, die Einzelbild-Panorama- und Tiefenschätzung als zwei Optimierungsaufgaben zu formulieren und alternierende Minimierungsstrategien einzuführen, um ihre Ziele effektiv zu lösen. Wir zeigen, dass unser Ansatz bestehende Techniken in der Einzelbild-360°-Szenenrekonstruktion hinsichtlich Konsistenz und Gesamtqualität übertrifft.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.