ReconFusion: 3D-reconstructie met diffusieprioriteiten
ReconFusion: 3D Reconstruction with Diffusion Priors
December 5, 2023
Auteurs: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, Aleksander Holynski
cs.AI
Samenvatting
3D-reconstructiemethoden zoals Neural Radiance Fields (NeRFs) blinken uit in het renderen van fotorealistische nieuwe aanzichten van complexe scènes. Het herstellen van een hoogwaardige NeRF vereist echter doorgaans tientallen tot honderden invoerbeelden, wat resulteert in een tijdrovend opnameproces. Wij presenteren ReconFusion om real-world scènes te reconstrueren met slechts een paar foto's. Onze aanpak maakt gebruik van een diffusieprior voor de synthese van nieuwe aanzichten, getraind op synthetische en multiview-datasets, die een NeRF-gebaseerde 3D-reconstructiepipeline regulariseert bij nieuwe cameraposities die verder gaan dan die vastgelegd door de set invoerbeelden. Onze methode synthetiseert realistische geometrie en textuur in onderbeperkte regio's, terwijl het uiterlijk van waargenomen regio's behouden blijft. We voeren een uitgebreide evaluatie uit over verschillende real-world datasets, waaronder voorwaarts gerichte en 360-graden scènes, wat aanzienlijke prestatieverbeteringen aantoont ten opzichte van eerdere NeRF-reconstructiebenaderingen met weinig aanzichten.
English
3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at
rendering photorealistic novel views of complex scenes. However, recovering a
high-quality NeRF typically requires tens to hundreds of input images,
resulting in a time-consuming capture process. We present ReconFusion to
reconstruct real-world scenes using only a few photos. Our approach leverages a
diffusion prior for novel view synthesis, trained on synthetic and multiview
datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel
camera poses beyond those captured by the set of input images. Our method
synthesizes realistic geometry and texture in underconstrained regions while
preserving the appearance of observed regions. We perform an extensive
evaluation across various real-world datasets, including forward-facing and
360-degree scenes, demonstrating significant performance improvements over
previous few-view NeRF reconstruction approaches.