La Gaussian Splatting richiede l'inizializzazione con SFM?
Does Gaussian Splatting need SFM Initialization?
April 18, 2024
Autori: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi
cs.AI
Abstract
Il 3D Gaussian Splatting è stato recentemente adottato come metodo versatile ed efficace per la ricostruzione di scene e la sintesi di nuove viste, grazie ai suoi risultati di alta qualità e alla compatibilità con l'hardware di rasterizzazione. Nonostante i suoi vantaggi, la dipendenza del Gaussian Splatting da un'inizializzazione di alta qualità delle nuvole di punti tramite algoritmi Structure-from-Motion (SFM) rappresenta una limitazione significativa da superare. A tal fine, esploriamo diverse strategie di inizializzazione per il Gaussian Splatting e approfondiamo come le ricostruzioni volumetriche ottenute dai Neural Radiance Fields (NeRF) possano essere utilizzate per bypassare la dipendenza dai dati SFM. I nostri risultati dimostrano che un'inizializzazione casuale può performare molto meglio se progettata con cura e che, impiegando una combinazione di strategie di inizializzazione migliorate e distillazione della struttura da modelli NeRF a basso costo, è possibile ottenere risultati equivalenti, o talvolta persino superiori, a quelli ottenuti con l'inizializzazione SFM.
English
3D Gaussian Splatting has recently been embraced as a versatile and effective
method for scene reconstruction and novel view synthesis, owing to its
high-quality results and compatibility with hardware rasterization. Despite its
advantages, Gaussian Splatting's reliance on high-quality point cloud
initialization by Structure-from-Motion (SFM) algorithms is a significant
limitation to be overcome. To this end, we investigate various initialization
strategies for Gaussian Splatting and delve into how volumetric reconstructions
from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on
SFM data. Our findings demonstrate that random initialization can perform much
better if carefully designed and that by employing a combination of improved
initialization strategies and structure distillation from low-cost NeRF models,
it is possible to achieve equivalent results, or at times even superior, to
those obtained from SFM initialization.