A Splatting Gaussiana precisa de inicialização por SFM?
Does Gaussian Splatting need SFM Initialization?
April 18, 2024
Autores: Yalda Foroutan, Daniel Rebain, Kwang Moo Yi, Andrea Tagliasacchi
cs.AI
Resumo
O 3D Gaussian Splatting tem sido recentemente adotado como um método versátil e eficaz para reconstrução de cenas e síntese de novas perspectivas, graças aos seus resultados de alta qualidade e compatibilidade com rasterização em hardware. Apesar de suas vantagens, a dependência do Gaussian Splatting em uma inicialização de nuvem de pontos de alta qualidade por meio de algoritmos de Structure-from-Motion (SFM) representa uma limitação significativa a ser superada. Para isso, investigamos diversas estratégias de inicialização para o Gaussian Splatting e exploramos como reconstruções volumétricas a partir de Neural Radiance Fields (NeRF) podem ser utilizadas para contornar a dependência de dados SFM. Nossos resultados demonstram que uma inicialização aleatória pode ter um desempenho muito melhor se cuidadosamente projetada e que, ao empregar uma combinação de estratégias de inicialização aprimoradas e destilação de estrutura a partir de modelos NeRF de baixo custo, é possível alcançar resultados equivalentes ou, em alguns casos, até superiores aos obtidos com inicialização SFM.
English
3D Gaussian Splatting has recently been embraced as a versatile and effective
method for scene reconstruction and novel view synthesis, owing to its
high-quality results and compatibility with hardware rasterization. Despite its
advantages, Gaussian Splatting's reliance on high-quality point cloud
initialization by Structure-from-Motion (SFM) algorithms is a significant
limitation to be overcome. To this end, we investigate various initialization
strategies for Gaussian Splatting and delve into how volumetric reconstructions
from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on
SFM data. Our findings demonstrate that random initialization can perform much
better if carefully designed and that by employing a combination of improved
initialization strategies and structure distillation from low-cost NeRF models,
it is possible to achieve equivalent results, or at times even superior, to
those obtained from SFM initialization.