ReconFusion: Ricostruzione 3D con Prior Diffusivi
ReconFusion: 3D Reconstruction with Diffusion Priors
December 5, 2023
Autori: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, Aleksander Holynski
cs.AI
Abstract
I metodi di ricostruzione 3D come i Neural Radiance Fields (NeRF) eccellono nel rendering di nuove viste fotorealistiche di scene complesse. Tuttavia, il recupero di un NeRF di alta qualità richiede tipicamente decine o centinaia di immagini di input, risultando in un processo di acquisizione dispendioso in termini di tempo. Presentiamo ReconFusion per ricostruire scene del mondo reale utilizzando solo poche foto. Il nostro approccio sfrutta un prior di diffusione per la sintesi di nuove viste, addestrato su dataset sintetici e multiview, che regolarizza una pipeline di ricostruzione 3D basata su NeRF per pose della camera non catturate dal set di immagini di input. Il nostro metodo sintetizza geometria e texture realistiche nelle regioni sottodeterminate, preservando al contempo l'aspetto delle regioni osservate. Eseguiamo una valutazione approfondita su vari dataset del mondo reale, inclusi scene forward-facing e a 360 gradi, dimostrando significativi miglioramenti delle prestazioni rispetto ai precedenti approcci di ricostruzione NeRF con poche viste.
English
3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at
rendering photorealistic novel views of complex scenes. However, recovering a
high-quality NeRF typically requires tens to hundreds of input images,
resulting in a time-consuming capture process. We present ReconFusion to
reconstruct real-world scenes using only a few photos. Our approach leverages a
diffusion prior for novel view synthesis, trained on synthetic and multiview
datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel
camera poses beyond those captured by the set of input images. Our method
synthesizes realistic geometry and texture in underconstrained regions while
preserving the appearance of observed regions. We perform an extensive
evaluation across various real-world datasets, including forward-facing and
360-degree scenes, demonstrating significant performance improvements over
previous few-view NeRF reconstruction approaches.