SparseCraft: Neuronale Rekonstruktion mit wenigen Aufnahmen durch stereopsis-geführte geometrische Linearisierung

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

Autoren: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

Zusammenfassung

Wir präsentieren einen innovativen Ansatz zur Wiederherstellung von 3D-Form und ansichtsabhängigem Erscheinungsbild aus wenigen farbigen Bildern, der eine effiziente 3D-Rekonstruktion und die Synthese neuer Ansichten ermöglicht. Unsere Methode lernt eine implizite neuronale Repräsentation in Form einer Signierten Distanzfunktion (SDF) und eines Strahlungsfelds. Das Modell wird progressiv durch Ray-Marching-fähiges volumetrisches Rendern trainiert und mit lernfreien Multi-View-Stereo (MVS)-Hinweisen reguliert. Schlüssel zu unserem Beitrag ist eine neuartige implizite neuronale Formfunktionslernstrategie, die unsere SDF-Feld dazu ermutigt, so linear wie möglich in der Nähe des Niveausatzes zu sein, um das Training gegen Rauschen aus den Überwachungs- und Regularisierungssignalen zu robustifizieren. Ohne Verwendung von vortrainierten Priors erreicht unsere Methode, genannt SparseCraft, Spitzenleistungen sowohl bei der Synthese von neuen Ansichten als auch bei der Rekonstruktion aus spärlichen Ansichten in Standard-Benchmarks, wobei weniger als 10 Minuten für das Training benötigt werden.

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.