¿Necesita el Gaussian Splatting inicialización con SFM?

Does Gaussian Splatting need SFM Initialization?

April 18, 2024

Autores: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi

cs.AI

Resumen

El método de 3D Gaussian Splatting ha sido recientemente adoptado como una técnica versátil y efectiva para la reconstrucción de escenas y la síntesis de nuevas vistas, gracias a sus resultados de alta calidad y su compatibilidad con el rasterizado por hardware. A pesar de sus ventajas, la dependencia de Gaussian Splatting en la inicialización de nubes de puntos de alta calidad mediante algoritmos de Structure-from-Motion (SFM) representa una limitación significativa que debe superarse. Con este fin, investigamos diversas estrategias de inicialización para Gaussian Splatting y exploramos cómo las reconstrucciones volumétricas obtenidas de Neural Radiance Fields (NeRF) pueden utilizarse para evitar la dependencia de los datos de SFM. Nuestros hallazgos demuestran que una inicialización aleatoria puede desempeñarse mucho mejor si se diseña cuidadosamente, y que al emplear una combinación de estrategias de inicialización mejoradas junto con la destilación de estructura a partir de modelos NeRF de bajo costo, es posible lograr resultados equivalentes, o en ocasiones incluso superiores, a los obtenidos mediante la inicialización con SFM.

English

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting's reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.