ReconFusion: 3D-Rekonstruktion mit Diffusions-Priors

ReconFusion: 3D Reconstruction with Diffusion Priors

December 5, 2023

Autoren: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, Aleksander Holynski

cs.AI

Zusammenfassung

3D-Rekonstruktionsmethoden wie Neural Radiance Fields (NeRFs) zeichnen sich durch die Erzeugung fotorealistischer neuer Ansichten komplexer Szenen aus. Die Wiederherstellung eines hochwertigen NeRF erfordert jedoch typischerweise Dutzende bis Hunderte von Eingabebildern, was einen zeitaufwändigen Aufnahmeprozess zur Folge hat. Wir stellen ReconFusion vor, um reale Szenen mit nur wenigen Fotos zu rekonstruieren. Unser Ansatz nutzt ein Diffusion-Prior für die Synthese neuer Ansichten, das auf synthetischen und multiview-Datensätzen trainiert wurde, und reguliert eine NeRF-basierte 3D-Rekonstruktionspipeline bei neuen Kamerapositionen, die über die durch die Eingabebilder erfassten hinausgehen. Unsere Methode synthetisiert realistische Geometrie und Textur in unterbestimmten Regionen, während das Erscheinungsbild beobachteter Regionen erhalten bleibt. Wir führen eine umfangreiche Evaluierung über verschiedene reale Datensätze durch, darunter vorwärtsgerichtete und 360-Grad-Szenen, und zeigen signifikante Leistungsverbesserungen gegenüber bisherigen NeRF-Rekonstruktionsansätzen mit wenigen Ansichten.

English

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.