SparseCraft : Reconstruction neuronale en peu de coups grâce à la linéarisation géométrique guidée par la stéréoscopie

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

Auteurs: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

Résumé

Nous présentons une nouvelle approche pour reconstruire la forme 3D et l'apparence dépendante de la vue à partir de quelques images colorées, permettant une reconstruction 3D efficace et la synthèse de nouvelles vues. Notre méthode apprend une représentation neuronale implicite sous la forme d'une fonction de distance signée (SDF) et d'un champ de radiance. Le modèle est entraîné progressivement grâce au rendu volumétrique activé par le ray marching, et régularisé à l'aide d'indices de stéréo multi-vues (MVS) sans apprentissage. L'élément clé de notre contribution est une nouvelle stratégie d'apprentissage de fonction de forme neuronale implicite qui encourage notre champ SDF à être aussi linéaire que possible près de l'ensemble de niveau, renforçant ainsi la robustesse de l'entraînement face au bruit provenant des signaux de supervision et de régularisation. Sans utiliser de pré-entraînements ou de connaissances préalables, notre méthode, appelée SparseCraft, atteint des performances de pointe à la fois en synthèse de nouvelles vues et en reconstruction à partir de vues éparses sur des benchmarks standard, tout en nécessitant moins de 10 minutes d'entraînement.

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.