SparseCraft: Ricostruzione Neurale Few-Shot tramite Linearizzazione Geometrica Guidata dalla Stereoscopia
SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization
July 19, 2024
Autori: Mae Younes, Amine Ouasfi, Adnane Boukhayma
cs.AI
Abstract
Presentiamo un approccio innovativo per il recupero della forma 3D e dell'aspetto dipendente dalla vista da poche immagini colorate, consentendo una ricostruzione 3D efficiente e la sintesi di nuove viste. Il nostro metodo apprende una rappresentazione neurale implicita sotto forma di una Funzione di Distanza con Segno (SDF) e di un campo di radianza. Il modello viene addestrato progressivamente attraverso il rendering volumetrico abilitato dal ray marching e regolarizzato con segnali di stereo multi-vista (MVS) privi di apprendimento. Elemento chiave del nostro contributo è una strategia innovativa di apprendimento di una funzione neurale implicita della forma che incoraggia il nostro campo SDF a essere il più lineare possibile vicino al livello impostato, rendendo così l'addestramento più robusto contro il rumore derivante dai segnali di supervisione e regolarizzazione. Senza utilizzare alcun priore pre-addestrato, il nostro metodo, denominato SparseCraft, raggiunge prestazioni all'avanguardia sia nella sintesi di nuove viste che nella ricostruzione da viste sparse nei benchmark standard, richiedendo meno di 10 minuti per l'addestramento.
English
We present a novel approach for recovering 3D shape and view dependent
appearance from a few colored images, enabling efficient 3D reconstruction and
novel view synthesis. Our method learns an implicit neural representation in
the form of a Signed Distance Function (SDF) and a radiance field. The model is
trained progressively through ray marching enabled volumetric rendering, and
regularized with learning-free multi-view stereo (MVS) cues. Key to our
contribution is a novel implicit neural shape function learning strategy that
encourages our SDF field to be as linear as possible near the level-set, hence
robustifying the training against noise emanating from the supervision and
regularization signals. Without using any pretrained priors, our method, called
SparseCraft, achieves state-of-the-art performances both in novel-view
synthesis and reconstruction from sparse views in standard benchmarks, while
requiring less than 10 minutes for training.