SparseCraft: Neurale Reconstructie met Weinig Voorbeelden via Stereoscopisch Geleide Geometrische Linearisatie
SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization
July 19, 2024
Auteurs: Mae Younes, Amine Ouasfi, Adnane Boukhayma
cs.AI
Samenvatting
We presenteren een nieuwe aanpak voor het herstellen van 3D-vorm en gezichtsafhankelijk uiterlijk vanuit een beperkt aantal gekleurde afbeeldingen, wat efficiënte 3D-reconstructie en synthese van nieuwe gezichtspunten mogelijk maakt. Onze methode leert een impliciete neurale representatie in de vorm van een Signed Distance Function (SDF) en een radiance field. Het model wordt progressief getraind door middel van volumetrische rendering via ray marching, en geregulariseerd met leerloze multi-view stereo (MVS) signalen. Centraal in onze bijdrage staat een nieuwe leerstrategie voor impliciete neurale vormfuncties die ervoor zorgt dat ons SDF-veld zo lineair mogelijk is nabij het level-set, waardoor de training robuuster wordt tegen ruis die voortkomt uit de supervisie- en regularisatiesignalen. Zonder gebruik te maken van vooraf getrainde prior kennis, behaalt onze methode, genaamd SparseCraft, state-of-the-art prestaties in zowel synthese van nieuwe gezichtspunten als reconstructie vanuit schaarse gezichtspunten in standaard benchmarks, terwijl minder dan 10 minuten trainings tijd nodig is.
English
We present a novel approach for recovering 3D shape and view dependent
appearance from a few colored images, enabling efficient 3D reconstruction and
novel view synthesis. Our method learns an implicit neural representation in
the form of a Signed Distance Function (SDF) and a radiance field. The model is
trained progressively through ray marching enabled volumetric rendering, and
regularized with learning-free multi-view stereo (MVS) cues. Key to our
contribution is a novel implicit neural shape function learning strategy that
encourages our SDF field to be as linear as possible near the level-set, hence
robustifying the training against noise emanating from the supervision and
regularization signals. Without using any pretrained priors, our method, called
SparseCraft, achieves state-of-the-art performances both in novel-view
synthesis and reconstruction from sparse views in standard benchmarks, while
requiring less than 10 minutes for training.