PanoDreamer: 3D Panorama Synthese uit een Enkele Afbeelding

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Auteurs: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Samenvatting

In dit artikel presenteren we PanoDreamer, een nieuw methode voor het produceren van een coherente 360^circ 3D scène vanuit een enkele invoerafbeelding. In tegenstelling tot bestaande methoden die de scène sequentieel genereren, kaderen wij het probleem als enkelvoudige-afbeelding panorama en diepteschatting. Zodra de coherente panoramische afbeelding en de bijbehorende diepte zijn verkregen, kan de scène worden gereconstrueerd door het opvullen van kleine verduisterde gebieden en ze te projecteren in 3D-ruimte. Onze belangrijkste bijdrage is het formuleren van enkelvoudige-afbeelding panorama en diepteschatting als twee optimalisatietaken en het introduceren van afwisselende minimalisatiestrategieën om hun doelstellingen effectief op te lossen. We tonen aan dat onze benadering bestaande technieken overtreft in enkelvoudige-afbeelding 360^circ scène reconstructie wat betreft consistentie en algehele kwaliteit.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.