PanoDreamer: Синтез 3D-панорамы из одного изображения

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

Авторы: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

Аннотация

В данной статье мы представляем PanoDreamer, новый метод для создания согласованной трехмерной сцены 360^circ из одного входного изображения. В отличие от существующих методов, которые генерируют сцену последовательно, мы формулируем проблему как оценку панорамы и глубины по одному изображению. После получения согласованного панорамного изображения и соответствующей глубины сцену можно восстановить, заполнив маленькие заслоненные области и проецируя их в трехмерное пространство. Наш вклад заключается в формулировании оценки панорамы и глубины по одному изображению как двух задач оптимизации и введении стратегий чередующейся минимизации для эффективного решения их целей. Мы демонстрируем, что наш подход превосходит существующие техники в восстановлении сцены 360^circ по одному изображению в терминах согласованности и общего качества.

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.