SparseCraft: Reconstrucción Neural de Pocas Muestras a través de la Linealización Geométrica Guiada por Estereopsis

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

Autores: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

Resumen

Presentamos un enfoque novedoso para recuperar la forma 3D y la apariencia dependiente de la vista a partir de unas pocas imágenes a color, lo que permite una reconstrucción 3D eficiente y síntesis de nuevas vistas. Nuestro método aprende una representación neural implícita en forma de una Función de Distancia Firmada (SDF) y un campo de radiación. El modelo se entrena progresivamente a través de renderizado volumétrico habilitado para marcha de rayos, y se regulariza con señales de estéreo multi-vista (MVS) libres de aprendizaje. Clave en nuestra contribución es una estrategia novedosa de aprendizaje de función de forma neural implícita que fomenta que nuestro campo SDF sea lo más lineal posible cerca del conjunto de nivel, robusteciendo así el entrenamiento contra el ruido que emana de las señales de supervisión y regularización. Sin utilizar precursores preentrenados, nuestro método, llamado SparseCraft, logra un rendimiento de vanguardia tanto en síntesis de nuevas vistas como en reconstrucción a partir de vistas dispersas en bancos de pruebas estándar, mientras que requiere menos de 10 minutos para el entrenamiento.

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.