Le Gaussian Splatting nécessite-t-il une initialisation par SFM ?

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

Auteurs: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

Résumé

Le 3D Gaussian Splatting a récemment été adopté comme une méthode polyvalente et efficace pour la reconstruction de scènes et la synthèse de nouvelles vues, grâce à ses résultats de haute qualité et sa compatibilité avec le rasterisation matérielle. Malgré ses avantages, la dépendance du Gaussian Splatting à une initialisation de nuage de points de haute qualité par des algorithmes de Structure-from-Motion (SFM) constitue une limitation importante à surmonter. À cette fin, nous explorons diverses stratégies d'initialisation pour le Gaussian Splatting et examinons comment les reconstructions volumétriques issues des Neural Radiance Fields (NeRF) peuvent être utilisées pour contourner la dépendance aux données SFM. Nos résultats démontrent qu'une initialisation aléatoire peut être bien plus performante si elle est soigneusement conçue, et qu'en combinant des stratégies d'initialisation améliorées avec une distillation de structure à partir de modèles NeRF à faible coût, il est possible d'obtenir des résultats équivalents, voire parfois supérieurs, à ceux obtenus avec une initialisation SFM.

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.