ReconFusion: 拡散事前分布を用いた3D再構成

要旨

Neural Radiance Fields (NeRFs) などの3D再構成手法は、複雑なシーンのフォトリアルな新規視点レンダリングに優れています。しかし、高品質なNeRFを復元するには通常、数十から数百枚の入力画像が必要であり、時間のかかる撮影プロセスが求められます。本研究では、わずかな写真のみを使用して現実世界のシーンを再構成するReconFusionを提案します。本手法は、合成データと多視点データセットで学習された拡散事前分布を活用し、入力画像セットで捕捉された範囲を超える新規カメラポーズにおけるNeRFベースの3D再構成パイプラインを正則化します。本手法は、観測された領域の外観を維持しつつ、制約の少ない領域において現実的な形状とテクスチャを合成します。前方視点および360度シーンを含む様々な現実世界データセットを用いて広範な評価を行い、従来の少視点NeRF再構成手法と比較して大幅な性能向上を示しています。

English

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.

ReconFusion: 拡散事前分布を用いた3D再構成

ReconFusion: 3D Reconstruction with Diffusion Priors

要旨

Support