ReconFusion: Reconstrucción 3D con Priores de Difusión

ReconFusion: 3D Reconstruction with Diffusion Priors

December 5, 2023

Autores: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, Aleksander Holynski

cs.AI

Resumen

Los métodos de reconstrucción 3D, como los Campos de Radiancia Neural (NeRFs), destacan por generar vistas novedosas fotorrealistas de escenas complejas. Sin embargo, recuperar un NeRF de alta calidad generalmente requiere decenas o cientos de imágenes de entrada, lo que resulta en un proceso de captura que consume mucho tiempo. Presentamos ReconFusion para reconstruir escenas del mundo real utilizando solo unas pocas fotografías. Nuestro enfoque aprovecha un prior de difusión para la síntesis de vistas novedosas, entrenado en conjuntos de datos sintéticos y multivista, que regulariza una canalización de reconstrucción 3D basada en NeRF en poses de cámara novedosas más allá de las capturadas por el conjunto de imágenes de entrada. Nuestro método sintetiza geometría y textura realistas en regiones subrestringidas, preservando la apariencia de las regiones observadas. Realizamos una evaluación exhaustiva en varios conjuntos de datos del mundo real, incluyendo escenas de frente y de 360 grados, demostrando mejoras significativas en el rendimiento en comparación con enfoques anteriores de reconstrucción NeRF con pocas vistas.

English

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.