Benötigt das Gauss'sche Splatting eine SFM-Initialisierung?

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

Autoren: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

Zusammenfassung

Die 3D-Gauß-Splatting-Methode wurde kürzlich als vielseitige und effektive Methode zur Szenenrekonstruktion und Synthese neuer Ansichten angenommen, aufgrund ihrer hochwertigen Ergebnisse und Kompatibilität mit der Hardware-Rasterisierung. Trotz ihrer Vorteile ist die Abhängigkeit des Gauß-Splattings von hochwertiger Punktewolkeninitialisierung durch Struktur-aus-Bewegung (SfM)-Algorithmen eine signifikante Einschränkung, die überwunden werden muss. Zu diesem Zweck untersuchen wir verschiedene Initialisierungsstrategien für das Gauß-Splatting und gehen darauf ein, wie volumetrische Rekonstruktionen aus Neuronalen Strahlungsfeldern (NeRF) genutzt werden können, um die Abhängigkeit von SfM-Daten zu umgehen. Unsere Ergebnisse zeigen, dass zufällige Initialisierung viel besser abschneiden kann, wenn sie sorgfältig gestaltet wird, und dass durch die Verwendung einer Kombination aus verbesserten Initialisierungsstrategien und Strukturdestillation aus kostengünstigen NeRF-Modellen äquivalente oder manchmal sogar überlegene Ergebnisse im Vergleich zu denen, die aus SfM-Initialisierung gewonnen wurden, erzielt werden können.

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.