Heeft Gaussian Splatting SFM-initialisatie nodig?
Does Gaussian Splatting need SFM Initialization?
April 18, 2024
Auteurs: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi
cs.AI
Samenvatting
3D Gaussian Splatting is recentelijk omarmd als een veelzijdige en effectieve methode voor scène-reconstructie en de synthese van nieuwe gezichtspunten, dankzij de hoogwaardige resultaten en compatibiliteit met hardware-rasterisatie. Ondanks de voordelen vormt de afhankelijkheid van Gaussian Splatting van hoogwaardige pointcloud-initialisatie door Structure-from-Motion (SFM)-algoritmen een belangrijke beperking die overwonnen moet worden. Daarom onderzoeken we verschillende initialisatiestrategieën voor Gaussian Splatting en verdiepen we ons in hoe volumetrische reconstructies van Neural Radiance Fields (NeRF) kunnen worden gebruikt om de afhankelijkheid van SFM-data te omzeilen. Onze bevindingen tonen aan dat willekeurige initialisatie aanzienlijk beter kan presteren als deze zorgvuldig is ontworpen, en dat door een combinatie van verbeterde initialisatiestrategieën en structuurdestillatie uit low-cost NeRF-modellen te gebruiken, het mogelijk is om equivalente, of soms zelfs superieure, resultaten te behalen vergeleken met die verkregen via SFM-initialisatie.
English
3D Gaussian Splatting has recently been embraced as a versatile and effective
method for scene reconstruction and novel view synthesis, owing to its
high-quality results and compatibility with hardware rasterization. Despite its
advantages, Gaussian Splatting's reliance on high-quality point cloud
initialization by Structure-from-Motion (SFM) algorithms is a significant
limitation to be overcome. To this end, we investigate various initialization
strategies for Gaussian Splatting and delve into how volumetric reconstructions
from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on
SFM data. Our findings demonstrate that random initialization can perform much
better if carefully designed and that by employing a combination of improved
initialization strategies and structure distillation from low-cost NeRF models,
it is possible to achieve equivalent results, or at times even superior, to
those obtained from SFM initialization.