SparseCraft: 스테레오시스 기반 기하학적 선형화를 통한 소수 샷 신경망 재구성

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

저자: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

초록

본 논문에서는 소수의 컬러 이미지로부터 3D 형태와 시점에 종속적인 외관을 복원하여 효율적인 3D 재구성과 새로운 시점 합성을 가능하게 하는 새로운 접근 방식을 제시합니다. 우리의 방법은 Signed Distance Function(SDF)과 radiance field 형태의 암묵적 신경망 표현을 학습합니다. 이 모델은 레이 마칭(ray marching) 기반 볼륨 렌더링을 통해 점진적으로 학습되며, 학습이 필요 없는 다중 시점 스테레오(MVS) 단서로 정규화됩니다. 우리의 주요 기여는 SDF 필드가 레벨 세트(level-set) 근처에서 가능한 한 선형적이 되도록 유도하는 새로운 암묵적 신경망 형태 함수 학습 전략입니다. 이를 통해 지도 학습 및 정규화 신호에서 발생하는 노이즈에 대해 강인한 학습이 가능해집니다. 사전 학습된 사전 지식(pretrained priors)을 사용하지 않고도, 우리의 방법인 SparseCraft은 표준 벤치마크에서 희소 시점(sparse views)으로부터의 새로운 시점 합성 및 재구성 모두에서 최첨단 성능을 달성하며, 학습 시간이 10분 미만으로 소요됩니다.

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.