SparseCraft: Reconstrução Neural de Poucas Amostras através da Linearização Geométrica Guiada por Estereopsia
SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization
July 19, 2024
Autores: Mae Younes, Amine Ouasfi, Adnane Boukhayma
cs.AI
Resumo
Apresentamos uma abordagem inovadora para recuperar a forma 3D e a aparência dependente da vista a partir de algumas imagens coloridas, possibilitando uma reconstrução 3D eficiente e síntese de novas vistas. Nosso método aprende uma representação neural implícita na forma de uma Função de Distância Assinada (SDF) e um campo de radiância. O modelo é treinado progressivamente por meio de renderização volumétrica habilitada para marcha de raios, e regularizado com pistas de estéreo multi-vista (MVS) livres de aprendizado. A chave de nossa contribuição é uma estratégia inovadora de aprendizado de função de forma neural implícita que incentiva nosso campo SDF a ser o mais linear possível próximo ao conjunto de níveis, robustecendo assim o treinamento contra ruídos provenientes dos sinais de supervisão e regularização. Sem utilizar quaisquer precursores pré-treinados, nosso método, chamado SparseCraft, alcança desempenhos de ponta tanto na síntese de novas vistas quanto na reconstrução a partir de vistas esparsas em benchmarks padrão, exigindo menos de 10 minutos para treinamento.
English
We present a novel approach for recovering 3D shape and view dependent
appearance from a few colored images, enabling efficient 3D reconstruction and
novel view synthesis. Our method learns an implicit neural representation in
the form of a Signed Distance Function (SDF) and a radiance field. The model is
trained progressively through ray marching enabled volumetric rendering, and
regularized with learning-free multi-view stereo (MVS) cues. Key to our
contribution is a novel implicit neural shape function learning strategy that
encourages our SDF field to be as linear as possible near the level-set, hence
robustifying the training against noise emanating from the supervision and
regularization signals. Without using any pretrained priors, our method, called
SparseCraft, achieves state-of-the-art performances both in novel-view
synthesis and reconstruction from sparse views in standard benchmarks, while
requiring less than 10 minutes for training.