PanoDreamer: 単一画像からの3Dパノラマ合成

PanoDreamer: 3D Panorama Synthesis from a Single Image

December 6, 2024

著者: Avinash Paliwal, Xilong Zhou, Andrii Tsarov, Nima Khademi Kalantari

cs.AI

要旨

本論文では、PanoDreamerという新しい手法を提案し、単一の入力画像から連続した360度の3Dシーンを生成する方法を紹介します。既存の手法がシーンを順次生成するのに対し、私たちは問題を単一画像のパノラマと深度推定として構築します。一貫したパノラマ画像とそれに対応する深度が得られると、シーンは小さな遮蔽領域を修復し、それらを3D空間に投影することで再構築されます。私たちの主要な貢献は、単一画像のパノラマと深度推定を2つの最適化タスクとして定式化し、交互最小化戦略を導入してそれらの目標を効果的に解決することです。私たちのアプローチが一貫性と全体的な品質の観点で既存の手法を上回ることを示します。

English

In this paper, we present PanoDreamer, a novel method for producing a coherent 360^circ 3D scene from a single input image. Unlike existing methods that generate the scene sequentially, we frame the problem as single-image panorama and depth estimation. Once the coherent panoramic image and its corresponding depth are obtained, the scene can be reconstructed by inpainting the small occluded regions and projecting them into 3D space. Our key contribution is formulating single-image panorama and depth estimation as two optimization tasks and introducing alternating minimization strategies to effectively solve their objectives. We demonstrate that our approach outperforms existing techniques in single-image 360^circ scene reconstruction in terms of consistency and overall quality.