SparseCraft: ステレオ視誘導型幾何線形化による少数サンプルニューラル再構成

SparseCraft: Few-Shot Neural Reconstruction through Stereopsis Guided Geometric Linearization

July 19, 2024

著者: Mae Younes, Amine Ouasfi, Adnane Boukhayma

cs.AI

要旨

我々は、少数のカラー画像から3D形状と視点依存の外観を復元する新しい手法を提案し、効率的な3D再構成と新規視点合成を可能にします。本手法は、符号付き距離関数（SDF）と放射輝度フィールドの形式で暗黙的なニューラル表現を学習します。モデルは、レイマーチングによる体積レンダリングを通じて段階的に訓練され、学習不要な多視点ステレオ（MVS）の手がかりで正則化されます。我々の貢献の鍵は、レベルセット付近でSDFフィールドを可能な限り線形にすることを促す新しい暗黙的ニューラル形状関数学習戦略であり、これにより、教師信号と正則化信号から生じるノイズに対する訓練のロバスト性が向上します。事前学習済みの事前分布を使用せずに、SparseCraftと呼ばれる本手法は、標準ベンチマークにおいて、新規視点合成と疎視点からの再構成の両方で最先端の性能を達成し、訓練時間は10分未満です。

English

We present a novel approach for recovering 3D shape and view dependent appearance from a few colored images, enabling efficient 3D reconstruction and novel view synthesis. Our method learns an implicit neural representation in the form of a Signed Distance Function (SDF) and a radiance field. The model is trained progressively through ray marching enabled volumetric rendering, and regularized with learning-free multi-view stereo (MVS) cues. Key to our contribution is a novel implicit neural shape function learning strategy that encourages our SDF field to be as linear as possible near the level-set, hence robustifying the training against noise emanating from the supervision and regularization signals. Without using any pretrained priors, our method, called SparseCraft, achieves state-of-the-art performances both in novel-view synthesis and reconstruction from sparse views in standard benchmarks, while requiring less than 10 minutes for training.