SparseCraft: Малообучаемая нейронная реконструкция через геометрическую линеаризацию, направляемую стереопсисом

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

Авторы: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

Аннотация

Мы представляем новый подход к восстановлению трехмерной формы и видозависимого внешнего вида по нескольким цветным изображениям, обеспечивая эффективную трехмерную реконструкцию и синтез нового вида. Наш метод изучает неявное нейронное представление в форме знаковой функции расстояния (SDF) и поля радиации. Модель обучается постепенно через объемную рендеринг с помощью маршрута лучей и регуляризуется с помощью многообъектного стерео (MVS) без обучения. Ключевым моментом нашего вклада является новая стратегия обучения неявной нейронной функции формы, которая поощряет наше поле SDF быть как можно более линейным около уровня, тем самым устойчиво обучаясь к шуму, исходящему от сигналов надзора и регуляризации. Без использования каких-либо предварительно обученных априорных знаний наш метод, названный SparseCraft, достигает передовых результатов как в синтезе нового вида, так и в реконструкции из разреженных видов в стандартных бенчмарках, требуя менее 10 минут для обучения.

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.