ReconFusion: Reconstrução 3D com Priors de Difusão

ReconFusion: 3D Reconstruction with Diffusion Priors

December 5, 2023

Autores: Rundi Wu, Ben Mildenhall, Philipp Henzler, Keunhong Park, Ruiqi Gao, Daniel Watson, Pratul P. Srinivasan, Dor Verbin, Jonathan T. Barron, Ben Poole, Aleksander Holynski

cs.AI

Resumo

Métodos de reconstrução 3D, como os Campos de Radiação Neural (NeRFs), destacam-se na renderização de novas visões fotorrealistas de cenas complexas. No entanto, a recuperação de um NeRF de alta qualidade geralmente requer dezenas a centenas de imagens de entrada, resultando em um processo de captura demorado. Apresentamos o ReconFusion para reconstruir cenas do mundo real utilizando apenas algumas fotos. Nossa abordagem aproveita um prior de difusão para síntese de novas visões, treinado em conjuntos de dados sintéticos e multiview, que regulariza um pipeline de reconstrução 3D baseado em NeRF em poses de câmera além daquelas capturadas pelo conjunto de imagens de entrada. Nosso método sintetiza geometria e textura realistas em regiões sub-restritas, preservando a aparência das regiões observadas. Realizamos uma avaliação extensa em diversos conjuntos de dados do mundo real, incluindo cenas frontais e de 360 graus, demonstrando melhorias significativas de desempenho em relação às abordagens anteriores de reconstrução NeRF com poucas visões.

English

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.