ReconFusion: 확산 모델 기반 3D 재구성

초록

Neural Radiance Fields(NeRFs)와 같은 3D 재구성 방법은 복잡한 장면의 사실적인 새로운 시점 렌더링에 뛰어난 성능을 보입니다. 그러나 고품질 NeRF를 복원하기 위해서는 일반적으로 수십에서 수백 장의 입력 이미지가 필요하며, 이는 시간이 많이 소요되는 캡처 과정을 수반합니다. 본 논문에서는 단 몇 장의 사진만으로 실세계 장면을 재구성하는 ReconFusion을 제안합니다. 우리의 접근 방식은 합성 데이터 및 다중 시점 데이터셋으로 학습된 확산 모델(diffusion prior)을 활용하여, 입력 이미지 세트에서 캡처되지 않은 새로운 카메라 포즈에서 NeRF 기반 3D 재구성 파이프라인을 정규화합니다. 이 방법은 관찰된 영역의 외관을 보존하면서도 제약이 적은 영역에서 사실적인 기하학적 구조와 텍스처를 합성합니다. 우리는 전방 시점 및 360도 장면을 포함한 다양한 실세계 데이터셋에 대해 광범위한 평가를 수행하며, 기존의 소수 시점 NeRF 재구성 접근법 대비 상당한 성능 향상을 입증합니다.

English

3D reconstruction methods such as Neural Radiance Fields (NeRFs) excel at rendering photorealistic novel views of complex scenes. However, recovering a high-quality NeRF typically requires tens to hundreds of input images, resulting in a time-consuming capture process. We present ReconFusion to reconstruct real-world scenes using only a few photos. Our approach leverages a diffusion prior for novel view synthesis, trained on synthetic and multiview datasets, which regularizes a NeRF-based 3D reconstruction pipeline at novel camera poses beyond those captured by the set of input images. Our method synthesizes realistic geometry and texture in underconstrained regions while preserving the appearance of observed regions. We perform an extensive evaluation across various real-world datasets, including forward-facing and 360-degree scenes, demonstrating significant performance improvements over previous few-view NeRF reconstruction approaches.

ReconFusion: 확산 모델 기반 3D 재구성

ReconFusion: 3D Reconstruction with Diffusion Priors

초록

Support